[논문 리뷰] Neural Message Passing for Quantum Chemistry

Justin Gilmer, Samuel S. Schoenholz외 3명|arXiv (Cornell University)|2017. 04. 04.

Computational Drug Discovery Methods인용 수 2,978

한 줄 요약

본 논문은 그래프 기반 신경망 모델을 메시지 전달 신경망(MPNN)으로 재구성하고 QM9에서 최첨단 성과를 달성하여 대부분의 표적에서 화학 정확도로 DFT 수준 특성을 예측한다. 또한 효율성과 성능을 개선하기 위한 구조적 변형들을 도입한다.

ABSTRACT

Supervised learning on molecules has incredible potential to be useful in chemistry, drug discovery, and materials science. Luckily, several promising and closely related neural network models invariant to molecular symmetries have already been described in the literature. These models learn a message passing algorithm and aggregation procedure to compute a function of their entire input graph. At this point, the next step is to find a particularly effective variant of this general approach and apply it to chemical prediction benchmarks until we either solve them or reach the limits of the approach. In this paper, we reformulate existing models into a single common framework we call Message Passing Neural Networks (MPNNs) and explore additional novel variations within this framework. Using MPNNs we demonstrate state of the art results on an important molecular property prediction benchmark; these results are strong enough that we believe future work should focus on datasets with larger molecules or more accurate ground truth labels.

연구 동기 및 목표

• 그래프 표현으로부터 직접 분자 특성을 학습할 수 있는 통합 메시지 전달 프레임워크의 가능성을 입증한다.
• QM9 데이터세트에서 MPNN을 평가하여 기존 기준선과의 성능을 벤치마크한다.
• 정확도와 효율성을 극대화하기 위한 구조적 변형들(edge 표현, 리드아웃, 타워)를 탐구한다.
• 분자 그래프에 공간 정보를 포함하고 수소를 명시하는 것의 중요성을 조사한다.

제안 방법

• 메시지 전달과 리드아웃의 두 단계로 MPNN 프레임워크를 정의한다.
• 다양한 메시지 함수(edge 기반, 에지 네트워크, 페어 메시지)와 리드아웃 함수(GG-NN 스타일 및 set2set)를 실험한다.
• 가상 엣지, 마스터 노드 등의 가상 그래프 요소를 도입하여 장거리 정보 흐름을 가능하게 한다.
• 다중 타워를 사용하여 용량과 속도를 증가시키되 계산 시간은 증가시키지 않는다.
• QM9에서 대상당 하나의 모델을 학습하고 하이퍼파라미터 탐색을 수행하며 화학 정확도 벤치마크와 비교 평가한다.

실험 결과

연구 질문

• RQ1 MPNN이 그래프 동형성에 대한 불변성을 가지면서 그래프 표현으로부터 직접 분자 특성을 학습할 수 있는가?
• RQ2 다양한 메시지, 업데이트 및 리드아웃 선택이 QM9 특성의 정확성에 어떤 영향을 미치는가?
• RQ3 공간 정보의 포함과 수소의 명시성(수소 표현)의 예측 성능에 미치는 영향은 무엇인가?
• RQ4 가상 엣지, 마스터 노드, set2set, 타워와 같은 구조적 혁신이 중간 크기의 분자에서 정확도와 효율성을 향상시키는가?

주요 결과

• MPNN은 모든 13개의 QM9 표적에서 최첨단 성과를 달성한다.
• 최고의 MPNN 변형은 13개 표적 중 11개에서 화학 정확도에 도달한다(DFT 정답과 일치).
• 위상 정보 없이 토폴로지만으로 작동하는 모델도 장거리 상호작용을 포착하면 여러 표적에서 화학 정확도에 도달할 수 있다.
• 에지 네트워크 기반 메시지와 명시적 수소를 갖는 set2set 리드아웃은 벤치마크 대비 강력한 성능 향상을 가져왔다.
• 다중 타워 접근법은 속도 향상과 일반화 개선을 제공하여 대부분의 표적에서 단일 GG-NN 대비 우수성을 보인다.