[논문 리뷰] Predictive Chemistry Augmented with Text Retrieval

Yujie Qian, Zhening Li외 3명|arXiv (Cornell University)|2023. 12. 08.

Advanced Text Analysis Techniques인용 수 4

한 줄 요약

TextReact는 과학 문헌 텍스트를 검색하고 분자의 반응 표현과 정렬하여 예측 화학 모델을 향상시키는 새로운 프레임워크를 제안한다. 문맥 기반 언어 모델링 목표와 함께 텍스트 검색을 통합함으로써 TextReact는 최신 기술 수준의 성능을 달성하여, 분자 데이터로만 훈련된 모델 대비 반응 조건 추천 과제에서 상위 1위 정확도를 58.4% 향상시키고, 한 단계 역합성 과제에서 13.6–15.7% 향상시킨다.

ABSTRACT

This paper focuses on using natural language descriptions to enhance predictive models in the chemistry field. Conventionally, chemoinformatics models are trained with extensive structured data manually extracted from the literature. In this paper, we introduce TextReact, a novel method that directly augments predictive chemistry with texts retrieved from the literature. TextReact retrieves text descriptions relevant for a given chemical reaction, and then aligns them with the molecular representation of the reaction. This alignment is enhanced via an auxiliary masked LM objective incorporated in the predictor training. We empirically validate the framework on two chemistry tasks: reaction condition recommendation and one-step retrosynthesis. By leveraging text retrieval, TextReact significantly outperforms state-of-the-art chemoinformatics models trained solely on molecular data.

연구 동기 및 목표

• 구조화된 분자 데이터에만 의존하는 것과는 달리, 문헌에서 유형이 없는 과학적 텍스트를 통합하여 예측 화학 모델을 향상시키는 것.
• 기존 화학 정보학 모델이 분자 인코딩에만 의존하여 출판된 반응에서의 맥락적 단서를 놓칠 수 있는 한계를 해결하는 것.
• 분자 표현과 관련된 텍스트 기반 설명을 융합하여 예측 정확도와 일반화 능력을 향상시키는 검색 증강 프레임워크를 개발하는 것.
• 반응 조건 추천과 한 단계 역합성이라는 두 가지 핵심 화학 과제에서 접근 방식을 검증하는 것.
• 골드 표준 텍스트가 훈련에서 제외된 경우에도 텍스트 검색이 모델 성능을 크게 향상시킬 수 있음을 보여 주어 강건한 일반화 능력을 입증하는 것.

제안 방법

• TextReact는 대조 학습을 사용하여 주어진 반응(스마일스 형식)을 비라벨링된 코퍼스에서 관련된 텍스트 기술문서로 매핑하는 SMILES-to-text 검색기를 활용한다.
• 프레임워크는 입력 반응과 검색된 텍스트 임베딩을 함께 인코딩하여 예측을 생성하는 텍스트 증강 예측기(예측자)를 사용한다.
• 훈련 중에 분자 표현과 해당 텍스트 표현 간의 정렬을 향상시키기 위해 보조적인 마스크된 언어 모델링(Masked Language Modeling, MLM) 목표가 통합된다.
• 모델은 가장 가까운 텍스트 기술문서를 제거하는 데이터 증강 전략을 사용하여 훈련 중에 알려지지 않은 반응 유형을 시뮬레이션하고 일반화 능력을 향상시킨다.
• 검색된 텍스트는 별도로 처리하는 대신 연결하여 함께 인코딩되며, 이는 모델이 동시에 여러 증거 자료를 통합적으로 고려할 수 있도록 한다.
• 텍스트 인코더를 사전 학습된 SciBERT로 초기화하여 과학적 언어에 대한 사전 노출을 통해 성능을 향상시킨다.

Figure 1: Predictive chemistry augmented with text retrieval. For example, given the task of reaction condition recommendation, we retrieve texts relevant to the input reaction to provide additional evidence for the model’s prediction. The two retrieved texts describe similar reactions to the input

실험 결과

연구 질문

• RQ1 문헌에서 관련된 과학적 텍스트 기술문서를 검색하는 것이 예측 화학 모델의 성능을 크게 향상시킬 수 있는가?
• RQ2 검색된 텍스트를 분자 표현과 융합할 경우, 특히 알려지지 않은 반응 유형에 대해 모델의 일반화 능력은 어떻게 영향을 받는가?
• RQ3 보조적인 마스크된 언어 모델링(Masked Language Modeling, MLM) 목표가 화학 예측 맥락에서 분자 표현과 텍스트 표현 간의 정렬을 향상시키는가?
• RQ4 TextReact의 성능는 구조화된 분자 데이터로만 훈련된 최신 기술 수준의 모델과 비교해 어떻게 되는가?
• RQ5 검색된 텍스트의 품질(예: 입력 반응과의 유사도)이 예측 정확도에 얼마나 큰 영향을 미치는가?

주요 결과

• TextReact는 분자 데이터로만 훈련된 최신 기술 수준의 모델 대비 반응 조건 추천 과제에서 상위 1위 정확도를 58.4%p 향상시켰다.
• 한 단계 역합성 과제에서 TextReact는 분자 데이터로만 훈련된 기준 모델 대비 상위 1위 정확도를 13.6–15.7%p 향상시켰다.
• 골드 표준 텍스트가 포함되지 않은 코퍼스에서 검색을 수행하더라도 모델의 성능가 유지되어, 알려지지 않은 반응 유형에 대한 강건성과 일반화 능력을 입증했다.
• 제거 실험 결과, 마스크된 언어 모델링(Masked Language Modeling, MLM) 목표를 제거하면 성능이 떨어지며, 이는 텍스트와 분자 표현 간 정렬을 향상시키는 데 효과적임을 확인한다.
• 별도의 예측을 앙상블하는 것보다 검색된 텍스트를 함께 인코딩하는 방식이 더 높은 성능을 보이며, 종단 간 통합의 이점을 입증한다.
• 기본 Transformer 기반 모델 대비 훈련 데이터의 10%만으로도 TextReact가 뛰어난 성능을 달성하여 데이터 효율성을 입증했다.

Figure 2: One-step retrosynthesis, another predictive chemistry task studied in this paper.