[논문 리뷰] Rxn Hypergraph: a Hypergraph Attention Model for Chemical Reaction Representation

Mohammadamin Tavakoli, А. Н. Шмаков외 2명|arXiv (Cornell University)|2022. 01. 02.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 반응의 순열에 불변하고 해석 가능하며 보편적인 그래프 기반 구조를 사용하여 화학 반응을 표현하는 하이퍼그래프 어텐션 모델인 Rxn Hypergraph를 소개한다. 이는 반응 성질 예측을 강력하고 정확하게 수행할 수 있도록 한다. 기존 방법보다 반응 분류 및 타당성 순위 매기기에서 뛰어난 성능을 보이며, 메커니즘 기반 반응 데이터셋에서 RGAT를 사용해 99.01%의 상위 10개 정확도를 달성한다.

ABSTRACT

It is fundamental for science and technology to be able to predict chemical reactions and their properties. To achieve such skills, it is important to develop good representations of chemical reactions, or good deep learning architectures that can learn such representations automatically from the data. There is currently no universal and widely adopted method for robustly representing chemical reactions. Most existing methods suffer from one or more drawbacks, such as: (1) lacking universality; (2) lacking robustness; (3) lacking interpretability; or (4) requiring excessive manual pre-processing. Here we exploit graph-based representations of molecular structures to develop and test a hypergraph attention neural network approach to solve at once the reaction representation and property-prediction problems, alleviating the aforementioned drawbacks. We evaluate this hypergraph representation in three experiments using three independent data sets of chemical reactions. In all experiments, the hypergraph-based approach matches or outperforms other representations and their corresponding models of chemical reactions while yielding interpretable multi-level representations.

연구 동기 및 목표

• 딥러닝 분야에서 보편적이고 강건하며 해석 가능하고 전처리가 최소화된 화학 반응 표현의 부족을 해결한다.
• 원자 및 분자 순열에 대해 불변이며 수동적인 특징 공학을 피하는 반응 표현을 개발한다.
• 엔드 투 엔드로 훈련 가능한 모델을 사용해 반응 성질(예: 분류 및 타당성 순위 매기기)의 고성능 예측을 가능하게 한다.
• 어텐션 기반 메커니즘을 통해 기능기능기반 상호작용과 반응 수준의 패턴을 포괄함으로써 다수 수준의 해석 가능성을 제공한다.
• 작업에 특화된 수작업 특징을 사용하지 않고도 다양한 반응 예측 작업에 일반화할 수 있음을 입증한다.

제안 방법

• 반응물, 생성물, 시약을 노드로 모델링하고, 결합 변화에 관여하는 원자를 연결하는 하이퍼엣지로 구성된 반응 하이퍼그래프(rxn-hypergraph)를 구축한다.
• 지역 및 전반적인 반응 맥락에 기반해 원자 표현을 업데이트하기 위해 하이퍼그래프 기반 메시지 전달 프레임워크를 사용한다.
• rxn-hypergraph에서 잠재 표현을 학습하기 위해 그래프 어텐션 네트워크(GAT)와 관계 기반 그래프 네트워크(RGCN)를 적용한다.
• 반응 메커니즘 간 상대적 타당성 예측을 위해 반대칭 비선형성을 가진 직접적 쌍순위 아키텍처(DirectRanker)를 사용한다.
• 쌍순위 점수를 전역적으로 일관된 반응 메커니즘 순위로 변환하기 위해 순위 기반 투표( ranked-pair voting)를 활용한다.
• 모델의 강건성과 성능을 확보하기 위해 SHERPA 프레임워크를 사용해 베이지안 최적화를 통해 초모수를 최적화한다.

실험 결과

연구 질문

• RQ1 화학 반응의 하이퍼그래프 기반 표현이 수작업 전처리 없이 보편적이고 순열에 불변하며 강건한 표현 학습을 달성할 수 있는가?
• RQ2 기존 방법들(예: reactionFP, Morgan 지문, rxnfp)과 비교해 반응 분류 및 타당성 순위 매기기 작업에서 rxn-hypergraph 표현은 어떻게 성능을 내는가?
• RQ3 rxn-hypergraph는 기능기능기반 상호작용과 같은 화학적으로 의미 있는 패턴을 반영하는 해석 가능한 어텐션 메커니즘을 얼마나 잘 제공하는가?
• RQ4 rxn-hypergraph는 다양한 데이터셋에서 분류 및 순위 매기기와 같은 반응 수준의 예측 작업에서 최첨단 성능을 지원할 수 있는가?
• RQ5 rxn-hypergraph에 관계 기반 및 그래프 어텐션 메커니즘을 적용할 경우, 표준 GNN 또는 텍스트 기반 모델 대비 일반화 및 성능 향상이 이루어지는가?

주요 결과

• RGCN를 사용한 rxn-hypergraph 표현은 반응 분류에서 98.8%의 테스트 정확도를 달성했으며, RGAT를 사용한 타당성 순위 매기기에서는 99.0%의 상위 10개 정확도를 기록해 모든 기준선을 초월했다.
• 기계적 반응 타당성 순위 매기기 작업에서, rxn-hypergraph 기반 RGAT 모델은 84.23%의 상위 1개 정확도를 기록했으며, 다음으로 우수한 방법(사전 훈련된 rxnfp로 81.31%)보다 뚜렷하게 뛰어났다.
• rxn-hypergraph 모델은 타당성 순위 매기기에서 97.03%의 상위 5개 정확도를 달성했으며, 다음으로 뛰어난 방법(96.09%의 rxnfp)을 뛰어넘어 강력한 일반화 능력을 보였다.
• 분류 및 순위 매기기 양쪽 작업에서 일관된 성능 향상이 관찰되어, 이는 모델의 보편성과 적응 가능성의 증거가 되었다.
• rxn-hypergraph 모델의 어텐션 메커니즘은 해석 가능한 어텐션 패턴을 제공했으며, 기능기능기반 상호작용에 대한 화학적으로 의미 있는 통찰을 가능하게 했다.
• 수작업 전처리 단계가 없고 분자 순열에 대해 불변이기 때문에, rxn-hypergraph 표현은 실생활 응용에 실용적이고 확장 가능한 구조이다.