[논문 리뷰] RxnScribe: A Sequence Generation Model for Reaction Diagram Parsing

Yujie Qian, Jiang Guo외 3명|arXiv (Cornell University)|2023. 05. 19.

Machine Learning in Materials ScienceMaterials Science인용 수 3

한 줄 요약

RxnScribe는 화학 반응도를 구조적 반응 체계로 엔드 투 엔드로 파싱하기 위한 시퀀스 생성 모델을 소개한다. 이는 실체와 역할의 토큰화된 표현을 사용하여 시퀀스 간 예측으로서 작업을 정식화한다. 다양한 1,378幅의 다이어그램 데이터셋에서 80.0%의 소프트 매치 F1 스코어를 기록하며, 이는 이전 방법들보다 뚜렷이 뛰어나며 특히 복잡한 그래프 스타일 다이어그램에서 뛰어난 성능을 보이며, 조합적 데이터 증강을 통해 강력한 일반화 성능을 확보한다.

ABSTRACT

Reaction diagram parsing is the task of extracting reaction schemes from a diagram in the chemistry literature. The reaction diagrams can be arbitrarily complex, thus robustly parsing them into structured data is an open challenge. In this paper, we present RxnScribe, a machine learning model for parsing reaction diagrams of varying styles. We formulate this structured prediction task with a sequence generation approach, which condenses the traditional pipeline into an end-to-end model. We train RxnScribe on a dataset of 1,378 diagrams and evaluate it with cross validation, achieving an 80.0% soft match F1 score, with significant improvements over previous models. Our code and data are publicly available at https://github.com/thomas0809/RxnScribe.

연구 동기 및 목표

• 문헌에서 다양한 화학 반응도를 안정적으로 파싱할 수 있는 일반 목적의 기계학습 모델을 개발하는 것.
• 伝통적인 파ipel라인 접근 방식에서 발생하는 오류 전파 문제를 해결하기 위해 실체 인식과 관계 예측을 엔드 투 엔드 시퀀스 생성 프레임워크로 통합하는 것.
• 4가지 스타일(단일선, 다중선, 트리, 그래프)을 포함한 1,378개의 반응도로 구성된 대규모 전문가 애너테이션 데이터셋을 구축하여 학습 및 평가에 활용하는 것.
• 단순한 다이어그램을 조합하여 더 복잡한 다이어그램을 구성하는 새로운 조합적 데이터 증강 전략을 통해 희귀하거나 복잡한 다이어그램 유형에서의 모델 일반화 및 성능 향상을 도모하는 것.

제안 방법

• 반응도 파싱을 시퀀스 생성 작업으로 정의하여, 각 반응이 실체 유형, 역할(반응물/생산물/조건), 경계 상자 좌표, 내용을 코딩한 토큰의 시퀀스로 표현되도록 한다.
• 분자의 구조, 텍스트, 반응 역할을 구조적이고 순차적인 형식으로 표현하는 이산적 시퀀스 표현을 정의하여 모델 입력으로 사용한다.
• 다이어그램 이미지를 입력으로 받아 전체 반응 시퀀스를 예측하는 트랜스포머 기반 시퀀스 생성 모델(예: T5 또는 유사 모델)을 학습한다.
• 예측된 경계 상자에 대해 사전 구축된 도구(MolScribe를 통한 분자 구조 인식 및 OCR을 통한 텍스트 추출)를 사용하여 최종 SMILES 및 텍스트 출력을 생성한다.
• 간단한 다이어그램을 조합하여 더 복잡한 다이어그램을 구성하는 조합적 데이터 증강 전략을 적용하여 학습 데이터의 다양성을 높이고 희귀한 스타일에서의 성능 향상을 도모한다.
• 5중 교차 검증을 활용한 평가를 수행하며, 소프트 매치 F1 스코어를 중심으로 반응 구조 예측 정확도를 평가한다.

Figure 1 : Examples of reaction diagrams in chemistry literature. We summarize four common styles of reaction diagrams: single-line, multiple-line, tree, and graph. The example diagrams are adapted with permission from Faizi et al. 1 [Copyright © 2016 American Chemical Society], Armitage et al. 2 [C

실험 결과

연구 질문

• RQ1 시퀀스 생성 모델이 다양한 반응도 스타일의 파싱을 단일 엔드 투 엔드 프레임워크로 효과적으로 통합할 수 있는가?
• RQ2 기존의 파이프라인 방식에 비해 이 제안된 시퀀스 표현 방식은 견고성과 오류 전파 측면에서 어떻게 비교되는가?
• RQ3 조합적 데이터 증강 전략이 트리나 그래프 구조와 같은 저자원 다이어그램 스타일에서 모델의 일반화 능력을 얼마나 향상시키는가?
• RQ4 실제 문헌에서의 복잡한 반응도에 대해 시퀀스 기반 파싱의 성능 한계는 어느 정도인가?
• RQ5 학습 데이터 크기와 다이어그램 복잡도가 증가함에 따라 모델 성능은 어떻게 변화하는가?

주요 결과

• RxnScribe는 전체 데이터셋에서 80.0%의 소프트 매치 F1 스코어를 기록하며, 이는 이전 모델들이 같은 벤치마크에서 10% 이하의 스코어를 기록한 것과 비교해 뚜렷한 향상이다.
• 단일선 다이어그램에서 가장 높은 성능(91.0% F1)을 기록했으며, 그래프 스타일 다이어그램에서도 강력한 성능(65.9% F1)을 보여, 복잡한 스타일 간의 견고성을 입증했다.
• 조합적 데이터 증강 전략은 복잡한 스타일(트리, 다중선, 그래프)에서 성능 향상에 뚜렷한 기여를 하지만, 단순한 단일선 다이어그램에는 덜 효과적이다.
• 더 많은 학습 데이터가 제공될수록 성능이 지속적으로 향상되며, 특히 다중 반응을 포함한 다이어그램에서 두드러진다. 이는 더 큰 데이터셋을 활용할 경우 추가적인 성능 향상 가능성을 시사한다.
• 희귀 스타일, 즉 저자원 스타일에서도 모델의 일반화 능력이 뛰어나, 가장 작은 그룹인 그래프 스타일(102개 예제)에서도 60% 이상의 F1 스코어를 기록하며, 시퀀스 생성 접근 방식의 효과성을 입증한다.

Figure 2 : Overview of reaction diagram parsing. The input is a reaction diagram, and the output is a list of reactions. The example diagram is from a journal article. 1