[논문 리뷰] Multi-View Graph Neural Networks for Molecular Property Prediction

Hehuan Ma, Yatao Bian외 6명|arXiv (Cornell University)|2020. 05. 17.

Machine Learning in Materials Science참고 문헌 53인용 수 35

한 줄 요약

MV-GNN 및 MV-GNN^cross를 도입하는 이중 뷰 GNN은 노드(원자) 및 엣지(결합) 정보를 모두 활용하고 공유된 자기 주의 읽기(readout)와 불일치 손실, 그리고 표현력과 해석 가능성을 높이기 위한 교차 의존 메시지 전달을 포함하여 분자 특성 예측에 기여한다.

ABSTRACT

The crux of molecular property prediction is to generate meaningful representations of the molecules. One promising route is to exploit the molecular graph structure through Graph Neural Networks (GNNs). It is well known that both atoms and bonds significantly affect the chemical properties of a molecule, so an expressive model shall be able to exploit both node (atom) and edge (bond) information simultaneously. Guided by this observation, we present Multi-View Graph Neural Network (MV-GNN), a multi-view message passing architecture to enable more accurate predictions of molecular properties. In MV-GNN, we introduce a shared self-attentive readout component and disagreement loss to stabilize the training process. This readout component also renders the whole architecture interpretable. We further boost the expressive power of MV-GNN by proposing a cross-dependent message passing scheme that enhances information communication of the two views, which results in the MV-GNN^cross variant. Lastly, we theoretically justify the expressiveness of the two proposed models in terms of distinguishing non-isomorphism graphs. Extensive experiments demonstrate that MV-GNN models achieve remarkably superior performance over the state-of-the-art models on a variety of challenging benchmarks. Meanwhile, visualization results of the node importance are consistent with prior knowledge, which confirms the interpretability power of MV-GNN models.

연구 동기 및 목표

• 원자와 결합 정보를 공동으로 활용하는 이중 뷰 GNN 프레임워크를 통해 정확한 분자 특성 예측을 모티브화한다.
• 해석 가능한 그래프 임베딩을 생성하고 불일치 손실로 학습을 안정화하기 위해 공유된 자기 주의 읽어내기를 개발한다.
• 두 뷰 간의 정보 교환을 강화하기 위한 교차 의존 메시지 전달 스킴을 제안한다.
• GIN에 비해 MV-GNN의 표현력 및 WL 테스트에 대한 이론적 분석을 제공한다.
• 강건한 성능과 해석 가능성을 가진 11개 벤치마크 데이터셋에서 실험적으로 우수성을 입증한다.

제안 방법

• 두 개의 동시 인코더: 노드 뷰(atom view)의 Node-GNN과 엣지 뷰(bond view)의 Edge-GNN가 노드/엣지 임베딩을 생성한다.
• 두 뷰에서 그래프 임베딩을 계산하고 원자/기능그룹의 중요도 해석을 가능하게 하는 공유된 자기 주의 읽어내기를 제공한다.
• 두 뷰 간의 예측 차이를 최소화하는 불일치 손실로 학습을 안정화한다.
• (MV-GNN^cross) 각 전파 단계에서 한 뷰가 다른 뷰에 정보를 제공하도록 하는 교차 의존 메시지 전달로 정보 흐름을 향상한다.
• MV-GNN이 적어도 GIN만큼 표현력이 있으며 MV-GNN^cross는 GIN보다 엄밀히 더 표현력이 강하다는 이론적 결과를 제시한다.
• 두 뷰의 예측 손실과 불일치 항을 결합한 엔드-투-엔드 손실: L = L_pred + λ L_dis를 사용한다.

실험 결과

연구 질문

• RQ1 개별적으로 노드와 엣지 정보를 처리하는 이중 뷰 GNN 아키텍처가 단일 뷰 모델보다 분자 특성 예측을 개선할 수 있는가?
• RQ2 공유된 자기 주의 읽어내기가 예측에 대해 해석 가능한 원자 수준 설명을 제공하는가?
• RQ3 불일치 손실을 통한 두 뷸 간의 일치를 강제하는 것이 학습을 안정화하고 견고성을 향상시키는가?
• RQ4 교차 의존 메시지 전달이 MV-GNN을 넘어서 표현력과 예측 성능을 더 향상시키는가?
• RQ5 MV-GNN 및 MV-GNN^cross의 이론적 표현력은 GIN/WL 테스트에 비해 어떤가?

주요 결과

• MV-GNN 및 MV-GNN^cross가 분류(AUC-ROC) 및 회귀 tasks에서 11개 벤치마크 데이터셋의 최첨단 baselines를 능가한다.
• MV-GNN은 SOTA baselines 대비 평균 약 1.15 포인트의 AUC 향상을 제공하고; MV-GNN^cross는 평균 약 1.65 포인트의 향상을 달성한다.
• MV-GNN^cross는 더 높은 견고성(더 낮은 표준 편차)을 달성하며, 경우에 따라 MV-GNN보다 우수한 성능을 보인다.
• 교차 의존 메시지 전달(MV-GNN^cross)은 모델 크기를 크게 줄이고 일반 MV-GNN보다 강한 표현력을 보인다.
• 이론적 결과: MV-GNN은 GIN보다 적어도 표현력이 같고; MV-GNN^cross는 GIN보다 더 표현력이 강하다.
• 정성적 사례 연구에서 해석 가능한 원자 수준 주의가 알려진 독성 모티프(예: 삼플루오로메틸 및 시안화 그룹)와 정렬된다.