[论文解读] Automatically Extracting Action Graphs from Materials Science Synthesis Procedures

Sheshera Mysore, Edward Kim+7 more|arXiv (Cornell University)|Nov 18, 2017

Machine Learning in Materials Science参考文献 29被引用 22

一句话总结

本文提出了一种从自然语言材料科学期刊文章中自动提取结构化操作图（包含链接的合成操作及其参数）的系统。在理想条件下，使用将所有中间产物分配给前一操作的强启发式基线方法，该方法在F1分数上表现优异（>95），揭示了无机合成过程具有强烈的顺序性，同时突显出实体抽取是主要瓶颈，目前仅约56%的参数节点能被准确识别。

ABSTRACT

Computational synthesis planning approaches have achieved recent success in organic chemistry, where tabulated synthesis procedures are readily available for supervised learning. The syntheses of inorganic materials, however, exist primarily as natural language narratives contained within scientific journal articles. This synthesis information must first be extracted from the text in order to enable analogous synthesis planning methods for inorganic materials. In this work, we present a system for automatically extracting structured representations of synthesis procedures from the texts of materials science journal articles that describe explicit, experimental syntheses of inorganic compounds. We define the structured representation as a set of linked events made up of extracted scientific entities and evaluate two unsupervised approaches for extracting these structures on expert-annotated articles: a strong heuristic baseline and a generative model of procedural text. We also evaluate a variety of supervised models for extracting scientific entities. Our results provide insight into the nature of the data and directions for further work in this exciting new area of research.

研究动机与目标

• 通过从非结构化科学文本中提取结构化操作图，实现在无机材料科学中的计算合成规划。
• 解决无机化学中缺乏标准化、表格化的合成数据的问题，该问题阻碍了机器学习方法的应用。
• 开发一种系统，可将叙述性合成流程自动转换为机器可处理的操作图，以支持材料发现等下游应用。
• 评估无监督和有监督模型在从特定领域合成文本中提取实体和事件结构方面的性能。

提出的方法

• 使用基于神经网络的命名实体识别（NER）模型与词嵌入，识别合成文本中的科学实体（如材料、试剂、条件）。
• 应用基于依存句法分析的启发式方法检测事件结构，定义操作及其参数。
• 采用启发式基线方法，将所有参数链接到前一个操作，以生成操作图中的边。
• 适配一种无监督生成模型用于程序性文本，以推断事件之间的边，并与启发式基线进行比较。
• 在两种设置下评估模型：一种忽略未对齐节点（设置1），另一种将涉及未对齐节点的边视为假阳性（设置2）。
• 使用微平均的精确率、召回率和F1值，评估在专家标注的合成文章上的边预测性能。

实验结果

研究问题

• RQ1 无监督和有监督模型能否有效从非结构化的材料科学合成叙述中提取结构化操作图？
• RQ2 在推断合成事件之间边的关系时，简单启发式基线与更复杂的生成模型相比表现如何？
• RQ3 操作图提取的质量在多大程度上取决于准确的实体和事件检测，而非边的推断？
• RQ4 节点对齐错误对操作图提取整体评估指标有何影响？
• RQ5 从启发式模型的表现来看，无机材料合成过程的结构在多大程度上具有顺序性？

主要发现

• 启发式基线（将所有参数分配给前一操作）在所有评估设置中均优于生成模型，在端到端评估中取得82.35%的微F1，在理想节点分割设置下F1超过95%。
• 启发式基线的优异表现表明，无机合成过程具有高度顺序性，大多数中间产物直接来源于前一步骤。
• 实体抽取是主要瓶颈，在端到端评估中仅56.28%的参数节点被正确识别，表明材料科学文本NER仍有巨大改进空间。
• 即使在理想节点分割条件下，概率生成模型的F1（88.70）仍低于启发式基线（92.36），进一步支持了顺序结构的主导作用。
• 结果表明，未来工作的主要重点应放在改进实体和事件检测，尤其是针对复杂或多重参数的操作。
• 即使训练数据有限，使用词嵌入的有监督NER模型也显著优于使用手工特征的传统CRF模型。