[논문 리뷰] Energy-based View of Retrosynthesis

Ruoxi Sun, Hanjun Dai외 3명|arXiv (Cornell University)|2020. 07. 14.

Machine Learning in Materials Science참고 문헌 30인용 수 15

한 줄 요약

이 논문은 순서 기반 및 그래프 기반 반응합성 모델을 통합하는 통합된 에너지 기반 모델(EBM) 프레임워크를 제안하며, 모델 설계에 대한 체계적인 비교와 이해를 가능하게 한다. 이는 전방 및 후방 예측 방향에서 일관되게 훈련되는 새로운 이중 EBM 변종을 도입하여, 템플릿 기반 반응합성에서 최신 기술 대비 4.3% 향상된 성능을 달성한다.

ABSTRACT

Retrosynthesis -- the process of identifying a set of reactants to synthesize a target molecule -- is of vital importance to material design and drug discovery. Existing machine learning approaches based on language models and graph neural networks have achieved encouraging results. In this paper, we propose a framework that unifies sequence- and graph-based methods as energy-based models (EBMs) with different energy functions. This unified perspective provides critical insights about EBM variants through a comprehensive assessment of performance. Additionally, we present a novel dual variant within the framework that performs consistent training over Bayesian forward- and backward-prediction by constraining the agreement between the two directions. This model improves state-of-the-art performance by 9.6% for template-free approaches where the reaction type is unknown.

연구 동기 및 목표

• 순서 기반 및 그래프 기반 반응합성 모델을 통합된 에너지 기반 모델(EBM) 프레임워크 아래 통합하여 더 나은 이론적 이해와 비교를 가능하게 하기.
• 다양한 EBM 변종에 대한 엄밀하고 종합적인 평가를 제공하여 향후 반응합성 분야의 모델 설계를 안내하기.
• 전방(반응 생성물 예측) 및 후방(반응물 예측) 예측 간 일관성을 강제하는 새로운 일반화된 이중 EBM 변종을 개발하기.
• 훈련 시 기저 사실 반응 중심 정보를 사용하지 않고도 최신 기술 수준의 성능을 향상시키기.

제안 방법

• X가 반응물이고 y가 생성물일 때 에너지 함수 Eθ(X, y)를 사용하여 반응합성을 조건부 확률 문제로 공식화하며, pθ(X|y) ∝ exp(−Eθ(X, y))로 표현한다.
• 다양한 아키텍처(예: 트랜스포머, GNN 등)로 에너지 함수 Eθ를 구체화하여 순서 기반(예: 트랜스포머), 그래프 기반(예: GNN), 또는 하이브리드 형태의 여러 EBM 변종을 설계한다.
• 전방 예측(pα(y|X))과 후방 예측(pη(X|y))을 동시에 최적화하는 이중 손실 함수를 구현하며, 양 방향 간 일관성을 확보하기 위한 제약 조건을 포함한다.
• 추론 중 후보 반응물을 제안하기 위해 제안 메커니즘(예: 템플릿 기반 또는 순서 변환)을 사용한 후, 에너지 점수 Eθ*(X, y)에 따라 정렬한다.
• 최대우도 추정 및 가짜우도를 사용하여 모델을 훈련하며, 정규화는 분할 함수 Z(θ)에 의해 처리한다.
• 훈련 중 SMILES 문자열의 무작위화를 통해 순서 불변성을 도입하여 그래프 무관 모델의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 순서 기반 및 그래프 기반 반응합성 모델을 어떻게 통합된 이론적 프레임워크 아래 공식화할 수 있는가?
• RQ2 표현력, 훈련, 추론 복잡도 측면에서 다양한 EBM 변종 간의 핵심 차이점과 상호 상충 관계는 무엇인가?
• RQ3 전방 및 후방 예측 방향에서의 일관성 있는 훈련이 템플릿 기반 반응합성에서 성능 향상에 기여하는가?
• RQ4 이중 EBM 변종이 템플릿 기반 및 템플릿 기반 외 설정 모두에서 기존 최신 기술 대비 얼마나 뛰어난 성능을 보이는가?

주요 결과

• 반응 유형이 알려진 상황에서 확장된 USPTO 데이터셋에서 제안된 일반화된 이중 EBM 변종은 상위 1위 정확도 65.7%를 기록하여 이전 최신 기술(RetroXpert)보다 4.3% 향상되었다.
• 기본 반응 중심 정보 없이도 이중 모델은 최고의 반응 중심 기반 방법(G2Gs)보다 상위 1위 정확도에서 1.6% 향상되었으며, 이는 훈련 시 기저 사실 반응 중심 정보를 필요로 하지 않음에도 불구하고 성능 향상을 이룬다.
• 제거 분석 결과, 이중 손실의 각 구성 요소(전방 예측, 후방 예측, 사전 확률)가 성능 향상에 기여하며, 특히 고정확도 영역에서 일관성 제약 조건이 추가적인 성능 향상을 제공함을 확인하였다.
• 이중 재정렬은 후보 정렬 성능을 크게 향상시켰다: 한 예시에서 기저 사실 반응물이 표준 번역 기반 제안 대비 1위로 상승하였다.
• 통합된 EBM 프레임워크는 모델 변종 간 체계적 비교를 가능하게 하였으며, 그래프 기반 모델이 본질적으로 순서 불변성의 이점을 얻는 반면, 순서 기반 모델은 유사한 강건성을 확보하기 위해 데이터 증강(예: SMILES 셔플링)이 필요함을 드러냈다.
• 이 프레임워크는 예측 방향 간 일관성 있는 훈련이 복잡하거나 고정확도 영역에서 더 신뢰할 수 있고 정확한 반응합성 예측을 가능하게 한다는 점을 입증하였다.