[논문 리뷰] Automatically Extracting Action Graphs from Materials Science Synthesis Procedures

Sheshera Mysore, Edward Kim외 7명|arXiv (Cornell University)|2017. 11. 18.

Machine Learning in Materials Science참고 문헌 29인용 수 22

한 줄 요약

이 논문은 자연어로 작성된 재료 과학 저널 논문에서 연결된 합성 작동 및 그에 대한 인자로 구성된 구조적 동작 그래프를 자동으로 추출하는 시스템을 제시한다. 모든 중간 단계를 이전 작동에 할당하는 강력한 히우리스틱 기반 모델을 사용하여, 이상적인 조건에서 높은 F1 스코어(>95)를 달성하며, 이는 무기 합성 절차의 강한 순차성 구조를 드러내지만, 동시에 실체 추출이 주요 난제임을 보여주며 현재 약 ~56%의 인자 노드만 정확하게 식별되고 있음을 시사한다.

ABSTRACT

Computational synthesis planning approaches have achieved recent success in organic chemistry, where tabulated synthesis procedures are readily available for supervised learning. The syntheses of inorganic materials, however, exist primarily as natural language narratives contained within scientific journal articles. This synthesis information must first be extracted from the text in order to enable analogous synthesis planning methods for inorganic materials. In this work, we present a system for automatically extracting structured representations of synthesis procedures from the texts of materials science journal articles that describe explicit, experimental syntheses of inorganic compounds. We define the structured representation as a set of linked events made up of extracted scientific entities and evaluate two unsupervised approaches for extracting these structures on expert-annotated articles: a strong heuristic baseline and a generative model of procedural text. We also evaluate a variety of supervised models for extracting scientific entities. Our results provide insight into the nature of the data and directions for further work in this exciting new area of research.

연구 동기 및 목표

• 비정형 과학적 텍스트에서 구조적 동작 그래프를 추출하여 무기 재료 과학 분야의 계산 기반 합성 계획 수립을 가능하게 하기 위해.
• 무기 화학 분야에서 표준화되고 표 형태로 정리된 합성 데이터의 부족으로 인해 기계 학습 접근법이 저해되고 있는 문제를 해결하기 위해.
• 서술형 합성 절차를 기계 처리 가능한 동작 그래프로 자동 변환하는 시스템을 개발하여 후속 응용 분야(예: 신소재 탐색)를 위해 활용하기 위해.
• 비지도 및 지도 학습 모델이 도메인 특화 합성 텍스트에서 실체와 사건 구조를 얼마나 효과적으로 추출하는지 평가하기 위해.

제안 방법

• 단어 임bedding을 사용하는 신경망 기반 명명된 실체 인식(NER) 모델을 활용하여 합성 텍스트 내 과학적 실체(예: 재료, 시약, 조건 등)를 식별한다.
• 의존성 파싱 기반 히우리스틱을 적용하여 사건 구조를 탐지하고, 작동 및 그에 대한 인자를 정의한다.
• 모든 인자를 바로 이전 작동에 연결하는 히우리스틱 기반 모델을 사용하여 동작 그래프 내 간선을 유도한다.
• 절차적 텍스트를 위한 비지도 생성 모델을 적응하여 사건 간 간선을 유도하고, 이를 히우리스틱 기반 모델과 비교한다.
• 두 가지 설정에서 모델을 평가한다: 하나는 일치하지 않는 노드를 무시하는 설정(Setting 1), 다른 하나는 일치하지 않는 노드를 포함한 간선를 거짓 양성으로 간주하는 설정(Setting 2).
• 전문가가 애너테이션한 합성 논문을 대상으로 간선 예측 성능을 평가하기 위해 마이크로 평균 정밀도, 재현도, F1을 사용한다.

실험 결과

연구 질문

• RQ1 비지도 및 지도 학습 모델이 비정형 재료 과학 합성 서술문에서 구조적 동작 그래프를 효과적으로 추출할 수 있는가?
• RQ2 합성 사건 간 간선을 유도하는 데 있어 단순한 히우리스틱 기반 모델과 더 복잡한 생성 모델 간의 성능 비교는 어떻게 되는가?
• RQ3 동작 그래프 추출의 품질이 정확한 실체 및 사건 탐지의 정확도에 비해 간선 유도 성능에 얼마나 의존하는가?
• RQ4 노드 일치 오류가 동작 그래프 추출의 전체 평가 지표에 미치는 영향은 어떠한가?
• RQ5 히우리스틱 모델의 성능을 통해 드러나는 무기 재료 합성 절차의 구조적 순차성 정도는 어느 정도인가?

주요 결과

• 모든 평가 설정에서, 모든 인자를 이전 작동에 할당하는 히우리스틱 기반 모델이 생성 모델을 능가하며, 종단 간 평가에서 마이크로-F1은 82.35%를 기록하고, 이상적인 노드 분할 설정에서는 95% 이상을 달성한다.
• 히우리스틱 기반 모델의 뛰어난 성능은 무기 합성 절차가 매우 순차적임을 시사하며, 대부분의 중간체가 바로 이전 단계에서 유래하고 있음을 시사한다.
• 실체 추출이 주요 난제이며, 종단 간 평가에서 인자 노드의 약 56.28%만 정확하게 식별되고 있어 재료 과학 텍스트의 NER 향상 여지가 크다는 것을 시사한다.
• 이상적인 노드 분할 조건에서도 비지도 생성 모델의 F1은 88.70으로 히우리스틱 기반 모델의 92.36보다 낮아, 순차적 구조의 우세함을 더욱 뒷받침한다.
• 결과적으로 향후 연구의 주요 초점은 복잡하거나 다중 인자를 가진 작동에 대해 실체 및 사건 탐지의 정확도 향상에 맞춰져야 한다는 점을 시사한다.
• 제한된 훈련 데이터 조건에서도 단어 임베딩을 사용하는 지도 학습 NER 모델이 수동 특징을 사용하는 전통적 CRF 모델보다 뚜렷이 우수한 성능을 보였다.