[논문 리뷰] Neural Message Passing with Edge Updates for Predicting Properties of Molecules and Materials

Peter Bjørn Jørgensen, Karsten W. Jacobsen외 1명|arXiv (Cornell University)|2018. 06. 08.

Machine Learning in Materials Science참고 문헌 21인용 수 56

한 줄 요약

이 논문은 SchNet에 엣지 메시지를 받는 원자에 조건을 거는 엣지 업데이트 네트워크를 추가하여 QM9, Materials Project, OQMD 전반의 형성 에너지 예측을 개선하고, k-최근접 이웃 그래프가 고정 컷오프를 능가함.

ABSTRACT

Neural message passing on molecular graphs is one of the most promising methods for predicting formation energy and other properties of molecules and materials. In this work we extend the neural message passing model with an edge update network which allows the information exchanged between atoms to depend on the hidden state of the receiving atom. We benchmark the proposed model on three publicly available datasets (QM9, The Materials Project and OQMD) and show that the proposed model yields superior prediction of formation energies and other properties on all three datasets in comparison with the best published results. Furthermore we investigate different methods for constructing the graph used to represent crystalline structures and we find that using a graph based on K-nearest neighbors achieves better prediction accuracy than using maximum distance cutoff or the Voronoi tessellation graph.

연구 동기 및 목표

• 빠르고 정확한 분자 및 재료 특성 예측을 비용이 많이 드는 DFT 계산의 대안으로 동기 부여한다.
• 수신 원자에 의존하는 엣지 업데이트를 포함하도록 신경망 메시지 전달 확장을 제시한다.
• QM9, The Materials Project, 및 Open Quantum Materials Database (OQMD)에서 평가한다.
• 결정 구조를 위한 그래프 구성 선택(컷오프 대 K-최근접 대 보로노이 테소렐레이션)을 탐구한다.

제안 방법

• 원자 번호를 초기 노드 상태에 임베딩하고 원자 간 거리를 방사 기저 함수로 확장한다.
• 엣지 업데이트 네트워크 E_t를 도입하여 엣지 특징이 송신 원자 상태 e_vw^t와 수신 원자 상태 e_vw^{t} 및 이전 엣지 상태 e_vw^{t}에 의존하도록 한다.
• 엣지 업데이트된 특징과 이웃 상태를 사용하여 메시지를 집계하는 메시지 함수 M_t를 정의한다.
• 잔차 그래프 업데이트 S_t(h_v^t, m_v^{t+1})로 노드 상태를 업데이트한다.
• 읽기 함수 R을 사용하여 원자별 기여를 합산(또는 평균)하여 속성을 예측한다.
• QM9, Materials Project, OQMD에서 SchNet 및 enn-s2s와 벤치마크를 수행하고; 그래프 구성 방식(상수 컷오프, K-최근접, 보로노이)을 비교한다.

실험 결과

연구 질문

• RQ1 송신 원자 상태와 수신 원자 상태 모두에 조건을 거친 엣지 업데이트 네트워크를 도입하면 분자 및 재료 특성의 예측 정확도가 향상되는가?
• RQ2 결정 재료에 대한 그래프 구성 선택(컷오프 거리, K-최근접, 보로노이 테소렐레이션)이 예측 성능에 어떤 영향을 미치는가?
• RQ3 엣지 업데이트 모델이 QM9, Materials Project, OQMD 데이터셋에서 최첨단 결과를 달성할 수 있는가?
• RQ4 어떤 속성(예: 형성 에너지)이 엣지 업데이트의 이점을 가장 많이 얻고, 결과가 기존 모델과 어떻게 비교되는가?

주요 결과

• 엣지 업데이트 네트워크가 세 데이터셋 모두에서 기본 SchNet 대비 예측 정확도에 상당한 향상을 제공합니다.
• QM9, Materials Project, OQMD에서 제안 모델이 V-RF 및 SchNet보다 낮은 평균 절대 오차를 보였습니다( 표 2 ).
• QM9에서 제안 모델은 12개 속성 중 9개에 대해 MAE가 더 낮고 나머지 3개는 일치합니다(표 3).
• 결정 재료의 경우 K-최근접 이웃 그래프(K=24 등)와 13.7 meV/atom MAE가 최상의 성능을 달성했고 고정 컷오프 및 보로노이 접근법보다 우수했습니다(그림 4).
• 엣지 업데이트는 수신 원자에 대한 상호 작용 조건화에 가장 큰 영향을 주며, 학습된 필터 시각화에서 수신 원자에 대한 의존도가 송신 원자보다 더 큰 첫 번째 층에서 나타납니다.