[논문 리뷰] Annotating and Extracting Synthesis Process of All-Solid-State Batteries from Scientific Literature

Fusataka Kuniyoshi, Kohei Makino외 2명|arXiv (Cornell University)|2020. 02. 17.

Machine Learning in Materials Science참고 문헌 35인용 수 23

한 줄 요약

이 논문은 243개의 전체 고체 상태 배터리(ALL-SOLID-STATE BATTERY, ASSB) 합성 프로세스를 흐름 그래프로 주석 처리한 새로운 데이터셋인 SynthASSBs 코퍼스를 소개하며, 딥러닝 시퀀스 태거와 규칙 기반 관계 추출기를 조합한 자동 기계 독해 프레임워크를 제안한다. 이 시스템은 실체 검출에 대해 0.826의 매크로 평균 F1 스코어, 관계 추출에 대해 0.887의 매크로 평균 F1 스코어를 달성하여 과학 문헌에서 합성 절차를 구조적으로 추출함으로써 계산 기반 재료 설계를 지원한다.

ABSTRACT

The synthesis process is essential for achieving computational experiment design in the field of inorganic materials chemistry. In this work, we present a novel corpus of the synthesis process for all-solid-state batteries and an automated machine reading system for extracting the synthesis processes buried in the scientific literature. We define the representation of the synthesis processes using flow graphs, and create a corpus from the experimental sections of 243 papers. The automated machine-reading system is developed by a deep learning-based sequence tagger and simple heuristic rule-based relation extractor. Our experimental results demonstrate that the sequence tagger with the optimal setting can detect the entities with a macro-averaged F1 score of 0.826, while the rule-based relation extractor can achieve high performance with a macro-averaged F1 score of 0.887.

연구 동기 및 목표

• 과학 문헌 내 전체 고체 상태 배터리(ALL-SOLID-STATE BATTERY, ASSB) 합성 프로세스에 대한 레이블링이 되어 있고 구조화된 데이터의 부족을 해결하기 위해.
• ASSB 연구 논문의 실험적 부문에서 단계별 합성 절차를 자동으로 추출할 수 있는 기계 독해 시스템을 개발하기 위해.
• 후속 계산 기반 설계를 지원하기 위해 합성 흐름 그래프로 주석 처리된 도메인 전용 코퍼스를 구축하기 위해.
• 재료 발견 파이프라인에서 사용할 수 있도록 합성 매개변수, 작업, 그들의 순서를 자동으로 구조화하여 추출하기 위해.

제안 방법

• 합성 프로세스는 소재, 작업, 조건을 정점으로 하고 절차적 및 참조적 관계를 간선으로 하는 방향성 있는 비순환 그래프(DIRECTED ACYCLIC GRAPH, DAG)로 표현된다.
• 딥러닝 기반의 시퀀스 태깅 모델을 사용하여 텍스트 내 실체인 소재, 작업, 성질 등을 식별하며, BIO 태깅 체계를 활용한다.
• 단어 간 거리와 문법적 구조적 신호를 활용하여 규칙 기반의 관계 추출기가 작업과 소재 또는 조건 간의 연결을 수립하며, 공호칭 해소 및 순서 의존성 문제를 해결하기 위한 히우리스틱을 적용한다.
• 코퍼스인 SynthASSBs는 243개의 ASSB 연구 논문 실험 부문에서 수집되었으며, 신뢰도 확보를 위해 다수의 주석자 간 일致도를 측정하였다.
• 프레임워크는 실체 검출 및 관계 추출 작업에 대해 매크로 평균 F1 스코어를 사용하여 평가되었다.
• 실시간으로 입력 텍스트에서 합성 프로세스를 추출하는 데 목적이 있는 웹 애플리케이션 프로토타입을 배포하였다.

실험 결과

연구 질문

• RQ1 딥러닝 기반의 시퀀스 태거는 ASSB 문헌 내 핵심 합성 실체(소재, 작업, 조건)를 정확하게 식별할 수 있는가?
• RQ2 규칙 기반의 관계 추출기는 비정형 텍스트에서 ASSB 합성의 절차적 흐름을 효과적으로 재구성할 수 있는가?
• RQ3 기본 기반 접근 방식과 비교해 볼 때, 통합 프레임워크는 실체 및 관계 추출 작업에서 얼마나 잘 성능을 내는가?
• RQ4 현재 추출 파이프라인의 주요 실패 원인은 무엇이며, 이를 어떻게 보완할 수 있는가?

주요 결과

• 딥러닝 기반의 시퀀스 태거는 소재, 작업, 성질과 같은 합성 실체를 검출하는 데 매크로 평균 F1 스코어 0.826을 달성하였다.
• 규칙 기반의 관계 추출기는 작업과 소재 또는 조건 간의 관계를 식별하는 데 매크로 평균 F1 스코어 0.887을 달성하였다.
• 시퀀스 태깅에서의 과다 검출 및 과소 검출 오류는 주로 관련 없는 성질(예: 용기 크기)과 희귀한 형용사 또는 단위(예: '자연스럽게', 'mm 두께')로 인해 발생하였다.
• 관계 추출에서의 주요 오류 원인은 문법적 구조를 忽略한 거리 기반 규칙(73건의 오류)과 복잡한 분기 또는 다중 프로세스 순서(28건의 오류)였다.
• 샘플 텍스트에서 시스템은 그림 11과 12에 나타낸 바와 같이 완전한 합성 그래프를 성공적으로 재구성하였다.
• 저자들은 현재의 한계를 극복하기 위해 문법 분석을 통합한 딥러닝 기반의 관계 추출기가 필요하다고 지적하였다.