[논문 리뷰] Hierarchical Inter-Message Passing for Learning on Molecular Graphs

Matthias Fey, Jan-Gin Yuen외 1명|arXiv (Cornell University)|2020. 06. 22.

Machine Learning in Materials Science참고 문헌 39인용 수 34

한 줄 요약

계층적 GNN을 도입하여 분자 그래프와 그 접합 트리 표현을 공동으로 처리하고, 간섭-메시지 전달을 통해 표현력과 성능을 향상시켜 분자 특성 예측 작업을 수행한다.

ABSTRACT

We present a hierarchical neural message passing architecture for learning on molecular graphs. Our model takes in two complementary graph representations: the raw molecular graph representation and its associated junction tree, where nodes represent meaningful clusters in the original graph, e.g., rings or bridged compounds. We then proceed to learn a molecule's representation by passing messages inside each graph, and exchange messages between the two representations using a coarse-to-fine and fine-to-coarse information flow. Our method is able to overcome some of the restrictions known from classical GNNs, like detecting cycles, while still being very efficient to train. We validate its performance on the ZINC dataset and datasets stemming from the MoleculeNet benchmark collection.

연구 동기 및 목표

• 표준 GNN이 분자 사이클 및 고차 구조를 탐지하는 데 있어 한계를 보임을 동기 부여하고 해결한다.
• 분자 그래프와 그 접합 트리 표현 모두에서 학습하는 이중 그래프 아키텍처를 제안한다.
• 거친-세밀 및 세밀-거친 정보 흐름을 달성하기 위한 그래프 간 정보 교환을 가능하게 한다.
• ZINC 및 MoleculeNet 벤치마크 데이터 세트에서 학습 효율성을 유지하면서 예측 성능을 개선한다.

제안 방법

• 분자 그래프 G와 그 접합 트리 T에서 각각의 그래프 내에서 메시지 전달이 이루어지는 두 개의 GNN을 사용한다.
• 인터-메시지 전달 구현: X^(l) <- X^(l) + sigma(S Z^(l) W1^(l))를 통해 T에서 G로 거친-세밀 정보를 전달한다.
• 인터-메시지 전달 구현: Z^(l) <- Z^(l) + sigma(S^T X^(l+1) W2^(l))를 통해 G에서 T로 세밀-거친 정보를 전달한다.
• 접합 트리의 클러스터를 단일체, 결합, 고리, 다리 결합 화합물에 대한 범주 인코딩 Z^(0)으로 표현한다.
• 두 그래프의 최종 표현을 연결한 그래프 읽기 및 트리 읽기 결과를 연결(concatenation)하여 분자 임베딩을 생성한다.
• 확립된 GIN-E(그래프) 및 GIN(접합 트리) 연산자를 기반으로 하며 Adam으로 엔드투엔드 학습한다.

실험 결과

연구 질문

• RQ1 분자 그래프와 그 접합 트리 표현 간의 계층적 인터-메시지 전달이 표준 GNN보다 표현력과 예측 성능을 향상시킬 수 있는가?
• RQ2 거친-세밀/세밀-거친 정보 교환이 일반적인 GNN이 가진 사이클 탐지의 한계를 극복하는 데 도움이 되는가?
• RQ3 제안된 구조가 예측 정확도와 효율성 측면에서 잘 알려진 분자 벤치마크(ZINC, MoleculeNet, OGB)에 어떤 영향을 미치는가?

주요 결과

• ZINC(10k)에서 제안된 방법은 MAE 0.151 ± 0.006으로 모든 베이스라인(GIN-E 0.252 ± 0.014 포함)을 상회하며 전체 ZINC 세트 대비 0.036 ± 0.002 대 0.088 ± 0.002(GIN-E) 성능으로 우수하다.
• ZINC Full에서 MAE 0.036 ± 0.002를 달성하며 경쟁자들보다 현저히 우수하다.
• MoleculeNet의 하위 집합(HIV, MUV, Tox21)에서 NGF, RP-NGF, GIN-E 베이스라인 대비 ROC-AUC가 향상되었다(예: HIV: 84.81 ± 0.42 vs 83.83 ± 0.67 for GIN-E).
• Open Graph Benchmark 데이터세트 ogbg-molhiv 및 ogbg-molpcba에서 ROC-AUC 78.80 ± 0.82 및 PRC-AUC 27.39 ± 0.17로 GCN-E, GatedGCN-E, GIN-E 베이스라인보다 성능이 우수하다.
• 그래프 간 커뮤니케이션으로 인한 확장된 수용 필드 덕분에 비교적 얕은 네트워크(2–3층)에서도 강한 성능을 달성한다.
• 단일 그래프 GNN에 비해 메모리 및 런타임 오버헤드가 미미한 채로 계산 효율성을 유지한다.