[論文レビュー] Automatically Extracting Action Graphs from Materials Science Synthesis Procedures

Sheshera Mysore, Edward Kim+7 more|arXiv (Cornell University)|Nov 18, 2017

Machine Learning in Materials Science参考文献 29被引用数 22

ひとこと要約

本稿では、自然言語の材料科学分野の論文から、関連する合成反応とその引数を結びつけた構造的アクショングラフを自動で抽出するシステムを提示する。強いヒューリスティックベースライン（すべての中間生成物を直前の操作に割り当てる）を用いることで、理想的な条件下ではF1スコアが95以上に達し、無機合成手順の強い逐次的性質を明らかにするとともに、エンティティ抽出が主なボトルネックであることが示された。現在のところ、引数ノードの約56%しか正確に同定されていない。

ABSTRACT

Computational synthesis planning approaches have achieved recent success in organic chemistry, where tabulated synthesis procedures are readily available for supervised learning. The syntheses of inorganic materials, however, exist primarily as natural language narratives contained within scientific journal articles. This synthesis information must first be extracted from the text in order to enable analogous synthesis planning methods for inorganic materials. In this work, we present a system for automatically extracting structured representations of synthesis procedures from the texts of materials science journal articles that describe explicit, experimental syntheses of inorganic compounds. We define the structured representation as a set of linked events made up of extracted scientific entities and evaluate two unsupervised approaches for extracting these structures on expert-annotated articles: a strong heuristic baseline and a generative model of procedural text. We also evaluate a variety of supervised models for extracting scientific entities. Our results provide insight into the nature of the data and directions for further work in this exciting new area of research.

研究の動機と目的

• 非構造的科学的テキストから構造的アクショングラフを抽出することで、無機材料科学分野における計算支援合成計画を可能にすること。
• 無機材料分野における標準化された表形式の合成データの不足が、機械学習手法の発展を妨えているという問題に対処すること。
• 物語形式の合成手順を、後続の応用（例：材料発見）に適した機械処理可能なアクショングラフに自動変換するシステムの開発。
• 非教師ありおよび教師ありモデルの、ドメイン特化された合成テキストからのエンティティおよびイベント構造抽出性能の評価。

提案手法

• 単語埋め込みを用いたニューラルネットワークベースの名前付きエンティティ認識（NER）モデルを用い、合成テキスト内での科学的エンティティ（例：材料、試薬、反応条件）を同定する。
• 従属構文解析に基づくヒューリスティクスを適用し、イベント構造を同定し、操作とその引数を定義する。
• すべての引数を直前の操作に接続するヒューリスティックベースラインを採用し、アクショングラフにおけるエッジを生成する。
• 手順的テキスト向けに非教師あり生成モデルを適応し、エッジを生成する手法をヒューリスティックベースラインと比較する。
• 2つの評価設定を用いる：1つ目はアラインメントされていないノードを無視する（設定1）、2つ目はアラインメントされていないノードを含むエッジを誤検出とみなす（設定2）。
• エキスパートがアノテートした合成論文を対象に、エッジ予測性能をマイクロ平均の適合率、再現率、F1スコアで評価する。

実験結果

リサーチクエスチョン

• RQ1 非教師ありおよび教師ありモデルは、非構造的材料科学分野の合成ナラティブから構造的アクショングラフを効果的に抽出できるか？
• RQ2 単純なヒューリスティックベースラインとより複雑な生成モデルの間で、合成イベント間のエッジを生成する性能にどのような差があるか？
• RQ3 アクショングラフ抽出の品質は、エンティティおよびイベント検出の正確さと、エッジ生成の正確さのどちらに依存しているか？
• RQ4 ノードアラインメントエラーは、アクショングラフ抽出の全体的な評価指標にどのような影響を及えるか？
• RQ5 ヒューリスティックモデルの性能から、無機材料合成手順の構造がどの程度逐次的であるか？

主な発見

• すべての評価設定で、すべての引数を直前の操作に割り当てるヒューリスティックベースラインが、生成モデルを上回る性能を示した。エンドツーエンド評価ではマイクロ-F1が82.35%、ノード分割が完璧な設定では95%以上を達成した。
• ヒューリスティックベースラインの優れた性能は、無機合成手順が非常に逐次的であり、大多数の中間生成物が直前のステップから直接得られることを示唆している。
• エンティティ抽出が主なボトルネックであり、エンドツーエンド評価では引数ノードの56.28%しか正しく同定されていない。材料科学テキストにおけるNERの改善の余地が非常に大きいことが示された。
• 理想的なノード分割条件下でも、確率的生成モデルのF1（88.70）はヒューリスティックベースラインのF1（92.36）を下回り、逐次的構造の優位性をさらに裏付けた。
• 今後の研究の主な焦点は、複雑なまたは複数引数を持つ操作のエンティティおよびイベント検出の改善であると示唆された。
• 限られた学習データでも、単語埋め込みを用いた教師ありNERモデルは、手作業特徴を用いた従来のCRFモデルを著しく上回った。