[논문 리뷰] Directional Message Passing for Molecular Graphs

Johannes Gasteiger, Janek Groß외 1명|arXiv (Cornell University)|2020. 03. 06.

Computational Drug Discovery Methods인용 수 345

한 줄 요약

DimeNet은 원자 간 거리와 각을 인코딩하기 위해 구면 푸리에-베셀 기저를 사용한 방향성 메시지 전달을 도입하여 분자 특성 예측에서 최첨단 성능을 달성하고 MD를 위한 매끄럽고 미분 가능한 힘 예측을 가능하게 한다.

ABSTRACT

Graph neural networks have recently achieved great successes in predicting quantum mechanical properties of molecules. These models represent a molecule as a graph using only the distance between atoms (nodes). They do not, however, consider the spatial direction from one atom to another, despite directional information playing a central role in empirical potentials for molecules, e.g. in angular potentials. To alleviate this limitation we propose directional message passing, in which we embed the messages passed between atoms instead of the atoms themselves. Each message is associated with a direction in coordinate space. These directional message embeddings are rotationally equivariant since the associated directions rotate with the molecule. We propose a message passing scheme analogous to belief propagation, which uses the directional information by transforming messages based on the angle between them. Additionally, we use spherical Bessel functions and spherical harmonics to construct theoretically well-founded, orthogonal representations that achieve better performance than the currently prevalent Gaussian radial basis representations while using fewer than 1/4 of the parameters. We leverage these innovations to construct the directional message passing neural network (DimeNet). DimeNet outperforms previous GNNs on average by 76% on MD17 and by 31% on QM9. Our implementation is available online.

연구 동기 및 목표

• 분자에서 각도 및 비틀림 효과를 포착하기 위해 GNN에 방향성 정보를 포함한다.
• 구면 베셀 함수와 구면조화함수를 사용하여 거리와 각도에 대한 원칙적이고 직교적인 기저 표현을 개발한다.
• 분자 특성을 예측하고 에너지 보존 MＤ 시뮬레이션을 가능하게 하는 DimeNet 아키텍처를 제안한다.

제안 방법

• 메시지를 원자 쌍에 연관된 방향성 임베딩으로 내장하고 원자 중심이 아닌 방향성 임베딩으로 표현한다.
• 거리는 반경 기저 함수로, 각은 2D 구면 푸리에-베셀 기저로 표현한다.
• 각도 및 거리 의존 상호작용에 따른 신념 전파에 비유하여 방향성 메시지 임베딩을 업데이트하고 집계한다.
• 회전 불변성, 평행 이동 불변성, 순열 불변성, 반전 불변성을 보장하고 MD를 위한 연속 미분 가능성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 이웃 방향 간의 각도와 같은 방향성 정보를 분자를 위한 GNN에 어떻게 통합할 수 있는가?
• RQ2 구면 베셀 및 구면 조화 기저가 원자 간 거리/각 표현의 효율성과 정확도를 향상시키는가?
• RQ3 방향성 메시지 전달을 갖는 GNN이 QM9 및 MD17 벤치마크에서 새로운 최첨단 성능을 달성할 수 있는가?

주요 결과

대상	단위	PPGN	SchNet	PhysNet	MEGNet-s	Cormorant	DimeNet
µ	D	0.047	0.033	0.0529	0.05	0.13	0.0286
α	a03	0.131	0.235	0.0615	0.081	0.092	0.0469
ϵHOMO	meV	40.3	41	32.9	43	36	27.8
ϵLUMO	meV	32.7	34	24.7	44	36	19.7
Δϵ	meV	60.0	63	42.5	66	60	34.8
R2	a02	0.592	0.073	0.765	0.302	0.673	0.331
ZPVE	meV	3.12	1.7	1.39	1.43	1.98	1.29
U0	meV	36.8	14	8.15	12	28	8.02
U	meV	36.8	19	8.34	13	-	7.89
H	meV	36.3	14	8.42	12	-	8.11
G	meV	36.4	14	9.40	12	-	8.98
cv	cal	mol K	0.055	0.033	0.0280	0.029	0.031	0.0249
std. MAE	%	1.84	1.76	1.37	1.80	2.14	1.05
logMAE	-	-	−4.64	−5.17	−5.35	−5.17	−4.75	−5.57

• DimeNet은 평균적으로 MD17에서 이전 GNN 대비 76%, QM9에서 31% 더 나은 성능을 보인다.
• 구면 베셀 기저 표현을 사용하면 가우시안 반경 기저에 비해 파라미터 수를 줄이면서 성능을 향상시킨다.
• 무효화 실험은 방향성 정보와 2D 구면 푸리에-베셀 기저가 성능에 큰 영향을 미침을 보여준다(예: NSHBF=1은 MAE를 저하시킴; 방향성 메시지를 제거하면 결과가 심각하게 악화).
• DimeNet은 QM9 대상 중 12개 중 11개에서 최첨단 성능을 달성하고 1000개의 데이터로도 경쟁력 있는 MD 결과를 제공한다.
• 모델은 연속적으로 두 번 미분 가능하며 에너지와 원자 힘 모두 예측에 적합하여 에너지 보존 MD 시뮬레이션을 가능하게 한다.