[논문 리뷰] Graph Transformation Policy Network for Chemical Reaction Prediction

Kien Do, Truyen Tran외 1명|arXiv (Cornell University)|2018. 12. 22.

Machine Learning in Materials Science참고 문헌 23인용 수 11

한 줄 요약

이 논문은 화학 반응 예측을 그래프 신경망(GNN)과 정책 학습을 사용한 그래프 변환의 연속으로 포지셔닝하는 강화학습 기반 방법인 그래프 변환 정책 네트워크(GTPN)를 제안한다. GTPN은 수작업으로 작성된 반응 규칙이나 고정된 변환 순서에 의존하지 않고 엔드 투 엔드 학습을 통해 USPTO 데이터셋에서 최상위 1위 정확도 83.20%를 달성한다.

ABSTRACT

We address a fundamental problem in chemistry known as chemical reaction product prediction. Our main insight is that the input reactant and reagent molecules can be jointly represented as a graph, and the process of generating product molecules from reactant molecules can be formulated as a sequence of graph transformations. To this end, we propose Graph Transformation Policy Network (GTPN) -- a novel generic method that combines the strengths of graph neural networks and reinforcement learning to learn the reactions directly from data with minimal chemical knowledge. Compared to previous methods, GTPN has some appealing properties such as: end-to-end learning, and making no assumption about the length or the order of graph transformations. In order to guide model search through the complex discrete space of sets of bond changes effectively, we extend the standard policy gradient loss by adding useful constraints. Evaluation results show that GTPN improves the top-1 accuracy over the current state-of-the-art method by about 3% on the large USPTO dataset. Our model's performances and prediction errors are also analyzed carefully in the paper.

연구 동기 및 목표

• 수작업으로 작성된 또는 히우리스틱적으로 추출된 반응 규칙에 의존하지 않고 화학 반응 생성물 예측 문제를 해결한다.
• 반응 예측을 분자의 그래프에서의 결합 변화 작업의 연속으로 포지셔닝하여 구조적 추론 문제로 간주한다.
• 그래프 표현과 변환 정책을 동시에 최적화함으로써 반응 메커니즘의 엔드 투 엔드 학습을 가능하게 한다.
• 유연하고 순서에 구애받지 않는 가변 길이의 결합 변화 시퀀스를 예측함으로써 새로운 반응에 대한 일반화 능력을 향상시킨다.
• 명시적인 결합 변화 삼중항(원자 쌍과 신규 결합 유형)의 시퀀스를 생성함으로써 해석 가능한 반응 경로를 제공한다.

제안 방법

• 반응물과 반응제 분자를 레이블이 부여된 노드와 간선을 가진 단일한 통합 분자 그래프로 표현한다.
• 각 변환 과정의 단계에서 현재 분자 그래프 상태를 인코딩하기 위해 그래프 신경망(GNN)을 사용한다.
• 노드 쌍 예측 네트워크(NPPN)와 정책 네트워크(PN)를 활용하여 잠재적인 변환을 위한 반응 삼중항 (u,v,b) — 원자 쌍 (u,v)과 신규 결합 유형 b — 를 예측한다.
• 강화학습을 사용하여 정책 네트워크를 훈련시키며, 이는 에이전트가 그래프를 정확한 생성물로 변환하기 위해 행동(결합 변화)을 선택하는 방식이다. Advantage Actor-Critic(A2C)를 적용한다.
• 예측된 반응 삼중항에 대한 미세한 변화에 대한 내성과 다양성을 증진하는 제약 조건을 도입하여 표준 정책 기울기 손실을 수정함으로써 훈련의 안정성과 강건성을 향상시킨다.
• 정지 행동이 예측될 때까지 반복적으로 결합 변화를 적용하여 최종 생성물 구조를 도출한다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 사전 정의된 반응 템플릿이나 규칙에 의존하지 않고 분자 그래프에서 직접 화학 반응 생성물을 예측할 수 있는가?
• RQ2 강화학습이 분자 그래프 변환의 이산적이고 미분 불가능한 공간에 효과적으로 적용될 수 있는가?
• RQ3 엔드 투 엔드로 원시적인 분자 구조에서 훈련된 모델이 얼마나 잘 새로운 반응 유형으로 일반화되는가?
• RQ4 정책 기울기 손실에 어떤 제약 조건이 예측된 반응 경로의 강건성과 다양성을 향상시키는가?
• RQ5 모델이 알려진 화학 원칙과 일치하는 명시적인 단계별 반응 메커니즘을 생성할 수 있는가?

주요 결과

• GTPN은 USPTO 데이터셋에서 최상위 1위 정확도 83.20%를 기록했으며, USPTO-15k에서는 82.39%를 달성하여 이전 최고 성능 방법보다 약 3% 높은 성능을 보였다.
• 특히 복잡하고 다양한 반응 유형을 처리할 때 기존 방법 대비 예측 오차를 크게 감소시켰다.
• 데이터에서 직접 반응 패턴을 학습하는 엔드 투 엔드이고 규칙이 없는 훈련 철학 덕분에 GTPN은 새로운 반응에 대해 잘 일반화된다.
• 정책 기울기 손실에 맞춤형 제약 조건을 포함시킴으로써 훈련의 안정성이 향상되고 더 강건하고 다양한 반응 경로 예측이 가능해졌다.
• 명시적인 반응 삼중항의 시퀀스를 생성함으로써 모델은 생성물 형성 방식에 대한 통찰을 제공하는 해석 가능한 반응 메커니즘을 제공한다.
• GTPN은 고정된 변환 순서나 길이를 가정하지 않고 GNN과 강화학습을 통합한 엔드 투 엔드 프레임워크로 반응 예측에 적용한 최초의 방법이다.