[논문 리뷰] Heterogeneous Molecular Graph Neural Networks for Predicting Molecule Properties

Zeren Shui, George Karypis|arXiv (Cornell University)|2020. 09. 26.

Machine Learning in Materials Science참고 문헌 33인용 수 14

한 줄 요약

이 논문은 이질적 분자 그래프(HMG) 표현을 사용하여 분자 내 다체 상호작용을 모델링하는 새로운 GNN 프레임워크인 이질적 분자 그래프 신경망(HMGNN)을 제안한다. HMGNN는 1체, 2체 등 순서가 다른 노드를 포함하며, 상호 순서 메시지 전달, 글로벌 분자 표현, 다중 작업 학습과 주목력 기반 융합 기법을 통해 QM9 데이터셋의 12개 분자 성질 예측 과제 중 9개에서 최신 기술 수준(SOTA) 성능을 달성한다. 이는 이중 원자 상호작용을 초월하여 고차 상호작용을 명시적으로 포착한다.

ABSTRACT

As they carry great potential for modeling complex interactions, graph neural network (GNN)-based methods have been widely used to predict quantum mechanical properties of molecules. Most of the existing methods treat molecules as molecular graphs in which atoms are modeled as nodes. They characterize each atom's chemical environment by modeling its pairwise interactions with other atoms in the molecule. Although these methods achieve a great success, limited amount of works explicitly take many-body interactions, i.e., interactions between three and more atoms, into consideration. In this paper, we introduce a novel graph representation of molecules, heterogeneous molecular graph (HMG) in which nodes and edges are of various types, to model many-body interactions. HMGs have the potential to carry complex geometric information. To leverage the rich information stored in HMGs for chemical prediction problems, we build heterogeneous molecular graph neural networks (HMGNN) on the basis of a neural message passing scheme. HMGNN incorporates global molecule representations and an attention mechanism into the prediction process. The predictions of HMGNN are invariant to translation and rotation of atom coordinates, and permutation of atom indices. Our model achieves state-of-the-art performance in 9 out of 12 tasks on the QM9 dataset.

연구 동기 및 목표

• 기존 GNN이 분자의 다체 상호작용(3개 이상 원자)을 모델링하는 데에 한계를 보이고 있으며, 이는 정확한 양자역학적 성질 예측에 필수적이라는 점을 해결하기 위해.
• 다체 항목(예: 결합 각도, 이황각 등)과 기하학적 정보를 명시적으로 코딩하는 새로운 분자 그래프 표현을 개발하기 위해.
• 이질적 그래프 구조를 활용하여 다중 순서 상호작용 모델링과 글로벌 성질 예측을 위한 GNN 아키텍처를 설계하기 위해.
• 글로벌 분자 표현과 다중 순서 예측의 주목력 기반 융합을 통합하여 일반화 능력과 예측 정확도를 향상시키기 위해.
• 다중 작업 학습과 상호 순서 메시지 전달이 모델 성능 향상에 기여하는지 검증하기 위해.

제안 방법

• 1체(원자), 2체(쌍), 고차 순서 그룹을 노드로 표현하는 이질적 분자 그래프(HMG)를 제안하며, 서로 다른 유형의 간선이 상호작용을 인코딩한다.
• 다른 순서의 노드 간 정보 교환을 허용하는 메시지 전달 기법(상호 순서 메시지 전달)을 설계하여 계층적 표현 학습을 가능하게 한다.
• 각 다체 순서와 최종 융합 예측을 동시에 최적화하는 다중 작업 학습 손실을 도입하여 다체 전개와의 일致성을 강제한다.
• 글로벌 분자 표현을 사용해 다양한 다체 순서의 예측을 주목력 기반 융합 기법으로 융합하여 최종 출력을 생성한다.
• 기하학적 및 구조적 HMG 설계와 메시지 전달 규칙를 통해 이동, 회전, 원자 순열에 대한 불변성을 확보한다.
• 학습 가능한 주목력 헤드를 사용해 목표 성질에 대한 관련성에 따라 1체 및 2체 예측 기여도를 동적으로 가중한다.

실험 결과

연구 질문

• RQ1 이질적 그래프 표현이 이중 원자 상호작용을 초월하여 분자 내 다체 상호작용(3개 이상 원자)을 효과적으로 모델링할 수 있는가?
• RQ2 1체 및 2체 노드 간의 상호 순서 메시지 전달을 통합하면 분자 성질 예측 정확도가 향상되는가?
• RQ3 다양한 다체 순서에 걸쳐 예측을 정규화하는 다중 작업 학습 목표가 모델의 일반화 능력과 성능 향상에 기여하는가?
• RQ4 융합 모듈의 주목력 가중치는 다양한 분자 성질에서 1체 대비 2체 기여도의 상대적 중요도를 어떻게 반영하는가?
• RQ5 표준 GNN이 원자와 결합만 모델링하는 데 비해, 2체 상호작용(예: 각도 등)을 명시적으로 모델링하면 성능 향상 정도는 어느 정도인가?

주요 결과

• HMGNN는 QM9 데이터셋의 12개 분자 성질 예측 과제 중 9개에서 최신 기술 수준(SOTA) 성능을 달성하며, 기존 GNN 기반 모델을 능가한다.
• 제거 실험에서 다중 작업 학습 손실을 제거하면 성능이 크게 악화되며, $U_0$에서 1체 예측 정확도가 HMGNN의 5.92에서 RMSE 8.22로 떨어진다.
• 상호 순서 메시지 전달을 제거하면 성능이 떨어지며, 특히 $C_v$에서 RMSE가 0.0233에서 0.0244로 증가하여 교차 순서 정보 흐름의 중요성을 보여준다.
• 고차 순서 모델링(2체)를 제거하면 다중 작업 학습 실험보다도 성능이 열 劣하므로, 2체 상호작용이 정확도 향상에 핵심적임을 시사한다.
• 융합 모듈의 주목력 가중치는 대부분의 성질에서 1체 기여가 지배적이지만(예: $U_0$, $C_v$), 2체 예측에도 비중 있는 주목력이 할당되어 다체 전개의 수렴 경향과 일치한다.
• 주목력 가중치는 안정적이고 의미 있는데, 1체 주목력 점수는 다양한 성질에서 0.4에서 0.8 사이로 변동하며, 모델이 관련 있는 다체 항목을 우선순위로 학습함을 보여준다.