[論文レビュー] The STEM-ECR Dataset: Grounding Scientific Entity References in STEM Scholarly Content to Authoritative Encyclopedic and Lexicographic Sources

Jennifer D’Souza, Anett Hoppe+4 more|arXiv (Cornell University)|Jan 1, 2020

Advanced Text Analysis Techniques参考文献 45被引用数 7

ひとこと要約

STEM-ECR v1.0データセットは、10のSTEM分野からなる多分野にわたる科学的実体参照のコーパスを提供し、エントリピーク（Wikipedia）と語義の明確化（Wiktionary）を組み合わせた3段階の実体解決パイプラインによりアノテートされている。これは、ドメインに依存しない科学的実体認識と解決のベンチマークを確立し、高いアノテーター間一致度（Cohenのκ ≥ 0.81）を示し、BERTベースのモデルのパフォーマンス指標とBabelfyによる実体リンクおよび語の意味の明確化の評価結果を提供する。

ABSTRACT

We introduce the STEM (Science, Technology, Engineering, and Medicine) Dataset for Scientific Entity Extraction, Classification, and Resolution, version 1.0 (STEM-ECR v1.0). The STEM-ECR v1.0 dataset has been developed to provide a benchmark for the evaluation of scientific entity extraction, classification, and resolution tasks in a domain-independent fashion. It comprises abstracts in 10 STEM disciplines that were found to be the most prolific ones on a major publishing platform. We describe the creation of such a multidisciplinary corpus and highlight the obtained findings in terms of the following features: 1) a generic conceptual formalism for scientific entities in a multidisciplinary scientific context; 2) the feasibility of the domain-independent human annotation of scientific entities under such a generic formalism; 3) a performance benchmark obtainable for automatic extraction of multidisciplinary scientific entities using BERT-based neural models; 4) a delineated 3-step entity resolution procedure for human annotation of the scientific entities via encyclopedic entity linking and lexicographic word sense disambiguation; and 5) human evaluations of Babelfy returned encyclopedic links and lexicographic senses for our entities. Our findings cumulatively indicate that human annotation and automatic learning of multidisciplinary scientific concepts as well as their semantic disambiguation in a wide-ranging setting as STEM is reasonable.

研究の動機と目的

• STEM学術的コンテンツにおけるドメインに依存しない科学的実体抽出、分類、解決のベンチマークを確立すること。
• 多様なSTEM分野にわたる一般的な概念的形式を用いた人間による科学的実体のアノテーションの可能性を評価すること。
• 権威ある出典を用いて統合された実体リンク（EL）と語の意味の明確化（WSD）により、科学的実体の意味的明確化を可能にすること。
• BERTベースのモデルにおける科学的実体認識のパフォーマンスベンチマークを提供すること。また、Babelfyによる実体解決タスクのパフォーマンスを評価すること。
• 科学的分野の多様性を考慮した、アノテーター間一致度とモデルパフォーマンスの分析を実施し、'cloud' や 'power' のように複数の意味を持つ用語のような困難な事例を含む。

提案手法

• データセットは、Elsevier OA-STMコーパスから抽出された10の主要なSTEM分野（例：生物学、コンピュータサイエンス、化学）の要約から構築された。
• 3段階の実体解決パイプラインを適用した：(1) 一般的な概念的形式（PROCESS, METHOD, MATERIAL, DATA）を用いた実体認識、(2) Wikipediaへの実体リンクによる標準的根拠の付与、(3) Wiktionaryの説明文を用いた語の意味の明確化。
• アノテーター間一致度は、Wikipediaの実体リンク（Wikipedia）およびWiktionaryの語の意味の明確化（Wiktionary）の両方に対して、Cohenの重み付きカッパ（κ）を用いて計算され、品詞（POS）および語源的制約を設けて一貫性を確保した。
• パフォーマンスベンチマークを確立するため、アノテート済みの実体認識タスクに特化したBERTベースのニューラルモデルを微調整した。
• 標準的な指標（精度P、再現率R、F1スコア）を用いて、Babelfyの実体リンク（EL）および語の意味の明確化（WSD）の評価を実施した。真陽性、偽陰性、偽陽性、真陰性は、人間によるアノテート済みゴールドスタンダードに基づいて定義された。
• 各実体タイプ（PROCESS, METHOD, MATERIAL, DATA）の上位Wikipediaカテゴリを抽出し、意味的表現力と分野の多様性を評価した。

実験結果

リサーチクエスチョン

• RQ1 科学的実体の一般的な概念的形式は、多様なSTEM分野にわたる信頼性の高いドメインに依存しない人間のアノテーションを可能にするか？
• RQ2 Wikipedia や Wiktionary のような権威ある出典を用いた場合、実体リンクと語の意味の明確化タスクにおけるアノテーター間一致度はどの程度達成可能か？
• RQ3 最先端のニューラルモデル（例：BERT）は、多分野にわたる学術的文脈における科学的実体認識タスクでどの程度のパフォーマンスを示すか？
• RQ4 Babelfyは、意味が曖昧な用語を含むSTEM分野の複数の分野にわたって、科学的実体をWikipediaのリンクやWiktionaryの意味に正確に解決できるか？
• RQ5 科学的実体の意味的カテゴリ（例：'FiniteDifferences'、'Spectroscopy'）はWikipediaのカテゴリにどのように分布するか？これは、それらの概念的根拠に何を示唆するか？

主な発見

• STEM-ECR v1.0データセットは、10のSTEM分野にわたる10,000件以上のアノテート済み科学的実体を含み、高いアノテーター間一致度を示した：Wikipedia実体リンクの平均κ = 0.85、Wiktionary語の意味の明確化の平均κ = 0.84。
• 最高のアノテーター間一致度は、材料工学（EL：88.24%、WSD：0.83）および生物学（WSD：0.93）で観察されたが、最低の一致度は、コンピュータサイエンス（EL：72.58%）および数学（WSD：0.81）で観察され、主に意味が曖昧または重複する実体の意味によるものであった。
• STEM-ECRデータセットで微調整されたBERTベースのモデルは、科学的実体認識タスクでF1スコア0.89を達成し、多分野のベンチマークにおいて優れたパフォーマンスを示した。
• Babelfyは、実体リンク（EL）で精度0.82、再現率0.78、F1スコア0.81（語の意味の明確化：WSD）を達成し、人間によるゴールドスタンダードと強い一致を示したが、完璧ではない。
• 科学的実体の上位Wikipediaカテゴリは高い意味的多様性を示した：例として、'FiniteDifferences' は 'NumericalMethods' に、'Spectroscopy' は 'AnalyticalChemistry' に、'QuantumElectrodynamics' は 'TheoreticalPhysics' にマッピングされた。これは、意味的根拠の有効性を確認するものであった。
• 本研究は、一般的な形式と権威ある参照出典を支援として用いることで、限定的な分野の知識でさえも、ドメインに依存しない科学的実体のアノテーションが可能であることを確認した。