[논문 리뷰] Non-Autoregressive Electron Redistribution Modeling for Reaction Prediction

Hangrui Bi, Hengyi Wang외 4명|arXiv (Cornell University)|2021. 06. 08.

Machine Learning in Materials Science참고 문헌 26인용 수 11

한 줄 요약

이 논문은 다중 포인터 디코딩 네트워크를 사용하여 동시에 전자 재분포를 모델링하는 비자기적 프레임워크인 NERF를 제안한다. 이는 화학 반응 예측을 위한 것으로, 최신 기술 수준의 상위 1위 정확도를 달성하고 자동 회귀 방법보다 최소 27배 빠른 추론 속도를 보이며, 예측된 전자 흐름을 통해 해석 가능성을 향상시킨다.

ABSTRACT

Reliably predicting the products of chemical reactions presents a fundamental challenge in synthetic chemistry. Existing machine learning approaches typically produce a reaction product by sequentially forming its subparts or intermediate molecules. Such autoregressive methods, however, not only require a pre-defined order for the incremental construction but preclude the use of parallel decoding for efficient computation. To address these issues, we devise a non-autoregressive learning paradigm that predicts reaction in one shot. Leveraging the fact that chemical reactions can be described as a redistribution of electrons in molecules, we formulate a reaction as an arbitrary electron flow and predict it with a novel multi-pointer decoding network. Experiments on the USPTO-MIT dataset show that our approach has established a new state-of-the-art top-1 accuracy and achieves at least 27 times inference speedup over the state-of-the-art methods. Also, our predictions are easier for chemists to interpret owing to predicting the electron flows.

연구 동기 및 목표

• 자기적 모델의 반응 예측 한계를 해결하기 위해 순차적 디코딩에 의존하는 자동 회귀 모델의 문제점을 해결한다. 이는 병렬 계산을 방해한다.
• 화학 반응을 동시에 전자 흐름 재분포로 모델링하여 한 번에 반응 생성물을 예측할 수 있도록 한다.
• 결합 형성과 파손을 반영하는 전자 흐름 패tern을 예측함으로써 화학자들이 반응 메커니즘을 더 쉽게 이해할 수 있도록 해석 가능성을 향상시킨다.
• 다양한 다중 모달 반응 결과를 생성할 수 있는 능력을 유지하면서도 높은 정확도와 빠른 추론 속도를 달성한다.
• 선형, 고리형, 가지가지, 평행, 다중 중심 반응을 포함한 다양한 분자 구조로의 일반화 능력을 입증한다.

제안 방법

• 화학 반응을 전자 쌍의 재분포로 모델링하며, 공유 전자 쌍으로 간주되는 공유 결합을 기반으로 한다.
• 결합 파손과 형성을 원자 간의 방향성 있는 전자 흐름으로 간주하고, 분자 그래프의 간선 변화로 표현한다.
• 조건부 변동 자료 인코더(CVAE)는 반응물의 구조를 잠재 표현으로 인코딩하여 반응 예측 작업에 활용한다.
• 새로운 다중 포인터 디코딩 네트워크는 모든 원자 쌍에 대해 동시에 들어오고 나가는 전자 흐름 확률을 예측하여 한 번에 생성이 가능하도록 한다.
• 어텐션 기반 포인터 네트워크를 사용하여 전자 흐름의 방향성과 크기를 추정하며, 이를 이산화하여 결합 변화를 결정한다.
• 예측된 전자 흐름은 반응물 그래프의 간선 추가 및 제거를 통해 직접적으로 생성물 분자를 도출한다.

실험 결과

연구 질문

• RQ1 비자기적 모델이 동시에 디코딩이 가능한 동시에 최신 기술 수준의 정확도를 달성할 수 있는가?
• RQ2 반응을 동시에 전자 재분포로 모델링하면 화학자들이 반응 메커니즘을 더 잘 이해할 수 있도록 해석 가능성이 향상되는가?
• RQ3 제안된 방법이 복잡하고 다중 중심 반응을 포함한 다양한 분자 구조로 일반화되는가?
• RQ4 라벨이 없는 예시를 기반으로 잠재 변수 모델링을 활용하여 부산물도 예측할 수 있는가?
• RQ5 자기적 기준 모델 대비 정확도 상위 1위 및 추론 속도 측면에서 성능이 어떻게 비교되는가?

주요 결과

• NERF는 USPTO-MIT 데이터셋에서 최신 기술 수준의 상위 1위 정확도를 달성하여 이전의 자동 회귀 모델을 능가한다.
• 자기적 최신 기술 수준의 모델 대비 최소 27배 빠른 추론 속도를 기록하며, 전자 흐름의 병렬 디코딩 덕분이다.
• 선형, 고리형, 가지가지, 평행, 다중 중심 반응을 포함한 모든 테스트된 분자 구조에서 뛰어난 일반화 성능을 보이며 일관된 성능을 유지한다.
• CVAE 프레임워크의 잠재 변수는 다양한 다중 모달 예측을 가능하게 하여 상위-k 정확도를 자동 회귀 모델과 유사하게 유지한다.
• 라벨이 없는 예시 없이도 DMSO와 같은 부산물을 성공적으로 예측하여 전자 흐름 패턴을 기반으로 부반응을 유추할 수 있음을 입증한다.
• 예측된 전자 흐름의 시각화 결과는 블루로 결합 형성(파란색)과 빨간색으로 결합 파손(빨간색)을 명확히 보여주며 반응 메커니즘에 대한 화학적으로 직관적인 설명을 제공한다.