[논문 리뷰] Gated Graph Recursive Neural Networks for Molecular Property Prediction

Hiroyuki Shindo, Yūji Matsumoto|arXiv (Cornell University)|2019. 08. 31.

Machine Learning in Materials Science참고 문헌 30인용 수 9

한 줄 요약

이 논문은 분자를 3D 원자 좌표를 갖는 완전한 방향성 그래프로 모델링하고 공유 파라미터와 스킵 연결을 사용하여 효율적이고 정확한 분자 성질 예측을 위한 새로운 그래프 신경망인 게이트드 그래프 재귀 신경망(GGRNet)을 제안한다. GGRNet은 QM7b, QM8, QM9 벤치마크에서 최신 기술 수준의 성능을 달성하여 대부분의 분자 성질 회귀 과제에서 이전 방법들을 능가한다.

ABSTRACT

Molecule property prediction is a fundamental problem for computer-aided drug discovery and materials science. Quantum-chemical simulations such as density functional theory (DFT) have been widely used for calculating the molecule properties, however, because of the heavy computational cost, it is difficult to search a huge number of potential chemical compounds. Machine learning methods for molecular modeling are attractive alternatives, however, the development of expressive, accurate, and scalable graph neural networks for learning molecular representations is still challenging. In this work, we propose a simple and powerful graph neural networks for molecular property prediction. We model a molecular as a directed complete graph in which each atom has a spatial position, and introduce a recursive neural network with simple gating function. We also feed input embeddings for every layers as skip connections to accelerate the training. Experimental results show that our model achieves the state-of-the-art performance on the standard benchmark dataset for molecular property prediction.

연구 동기 및 목표

• 대규모 분자 걸러내기 위한 양자화학적 시뮬레이션의 높은 계산 비용 문제를 해결하기 위해.
• 확장 가능하고 정확하며 표현력 있는 그래프 신경망을 개발하여 분자 표현 학습에 기여하기 위해.
• 모든 원자 쌍 간의 공간 정보와 재귀적 메시지 전달을 활용하여 분자 성질 예측을 향상시키기 위해.
• 레이어 간 공유 파라미터와 스킵 연결을 통해 학습을 가속화하기 위해.
• 표준 벤치마크에서 모델을 평가하고 기존 방법들보다 뛰어난 성능을 입증하기 위해.

제안 방법

• 각 원자가 3D 공간 좌표를 갖는 완전한 방향성 그래프로 분자를 모델링하기 위해.
• 원자 간 거리 기반으로 은닉 표현을 업데이트하는 단순한 게이팅 메커니즘을 갖춘 재귀 신경망을 사용하기 위해.
• 모델 복잡도를 줄이고 일반화 성능을 향상시키기 위해 모든 레이어 간에 파라미터를 공유하기 위해.
• 수렴 속도를 가속화하고 학습을 안정화시키기 위해 매 레이어마다 입력 임베딩을 스킵 연결로 통합하기 위해.
• 표현 학습을 향상시키기 위해 원자 수와 공간 범위와 같은 보조 기능을 통합하기 위해.
• 성질 예측을 위해 원자 수준 표현을 집계하기 위해 단순 평균 읽기 기능을 적용하기 위해.

실험 결과

연구 질문

• RQ1 공유 파라미터와 스킵 연결을 갖춘 재귀적 그래프 신경망이 분자 성질 예측에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ2 그래프 구조만을 고려한 모델 대비 3D 원자 좌표와 원자 간 거리를 통합함으로써 성능 향상이 어떻게 이루어지는가?
• RQ3 스킵 연결과 거리 특징은 학습 효율성과 예측 정확도에 어떤 기여를 하는가?
• RQ4 전반적인 결과가 우수한데도 불구하고 QM9 데이터셋에서 U0, U, H, G 등의 일부 성질에서 GGRNet의 성능이 열등한 이유는 무엇인가?
• RQ5 게이팅 및 특징 주입과 같은 아키텍처 구성 요소가 모델 성능과 일반화 능력에 미치는 영향은 무엇인가?

주요 결과

• GGRNet은 QM7b 데이터셋의 12개 타겟 중 7개에서 최신 기술 수준의 성능를 기록했으며, mu 성질의 경우 최저 평균 절대 오차(MAE) 0.172를 달성했다.
• QM9 데이터셋에서 GGRNet은 분극화도(alpha)에 대해 0.453의 최저 MAE, 이완도 에너지(HOMO)에 대해 0.00372의 최저 MAE를 기록하여 GC, DTNN, MPNN를 모두 능가했다.
• 제거 실험을 통해 거리 특징이 R2(전자 공간 범위) 예측에 필수적임을 확인했으며, 이 특징을 제거할 경우 MAE가 1.61에서 154로 급격히 증가했다.
• 원자 임베딩 특징은 중간 정도의 기여를 하였으며, 이 특징을 제거했을 경우 MAE가 0.000861에서 0.000939로 증가했다.
• 기저 에너지(U0, U), 엔탈피(H), 자유 에너지(G) 예측에서는 성능이 열악하여 MAE 값이 28을 초과했으며, 이는 열역학적 성질 학습에 한계가 있음을 시사한다.
• 이러한 예외가 있음에도 불구하고 GGRNet은 대부분의 성질에서 베이스라인 모델들을 계속해서 능가하여 분자 표현 학습에서 뛰어난 일반화 능력과 표현력을 입증했다.