[논문 리뷰] Molecular Representation Learning via Heterogeneous Motif Graph Neural Networks

Zhaoning Yu, Hongyang Gao|arXiv (Cornell University)|2022. 02. 01.

Machine Learning in Materials Science인용 수 14

한 줄 요약

이 논문은 동종성 모티프 그래프 신경망(HM-GNN)을 제안하여 모티프와 분자 노드로 구성된 이종 그래프를 구축함으로써 모티프 수준의 메시지 전달과 다중 작업 학습을 가능하게 하여 분자 그래프 표현 학습을 향상시킵니다. 이 방법은 그래프 분류 작업에서 최신 기술 수준의 성능을 달성하며, 특히 소규모 분자 데이터셋에 유리한 엣지 샘플러를 통해 계산 비용을 크게 감소시킵니다.

ABSTRACT

We consider feature representation learning problem of molecular graphs. Graph Neural Networks have been widely used in feature representation learning of molecular graphs. However, most existing methods deal with molecular graphs individually while neglecting their connections, such as motif-level relationships. We propose a novel molecular graph representation learning method by constructing a heterogeneous motif graph to address this issue. In particular, we build a heterogeneous motif graph that contains motif nodes and molecular nodes. Each motif node corresponds to a motif extracted from molecules. Then, we propose a Heterogeneous Motif Graph Neural Network (HM-GNN) to learn feature representations for each node in the heterogeneous motif graph. Our heterogeneous motif graph also enables effective multi-task learning, especially for small molecular datasets. To address the potential efficiency issue, we propose to use an edge sampler, which can significantly reduce computational resources usage. The experimental results show that our model consistently outperforms previous state-of-the-art models. Under multi-task settings, the promising performances of our methods on combined datasets shed light on a new learning paradigm for small molecular datasets. Finally, we show that our model achieves similar performances with significantly less computational resources by using our edge sampler.

연구 동기 및 목표

• 기존 GNN이 분자 그래프 간의 모티프 수준 관계를 포착하는 데 한계가 있음을 해결하기 위해.
• 공유 모티프를 통해 분자 간의 연결을 모델링하여 분자 그래프 표현 학습을 향상시키기 위해.
• 특히 소규모 분자 데이터셋에서 효과적인 다중 작업 학습을 가능하게 하기 위해.
• 높은 성능를 유지하면서 GNN 학습 중 계산 비용을 감소시키기 위해.

제안 방법

• TF-IDF를 사용하여 분자 그래프에서 결합과 고리 구조를 추출하고 필터링하여 모티프 어휘를 구성하기 위해.
• 모티프 노드와 분자 노드로 구성된 이종 모티프 그래프를 구축하며, 엣지는 모티프가 분자에 존재하는지를 나타냅니다.
• 어느 분자에서나 원자를 공유하는 모티프 노드 간에 연결하여 모티프-모티프 상호작용과 분자 간 정보 교환을 가능하게 하기 위해.
• 메시지 전달을 통해 모티프 노드와 분자 노드 간의 공동 표현을 학습하기 위해 이종 모티프 그래프 신경망(HM-GNN)을 훈련하기 위해.
• 다중 수준의 특징 융합을 위해 원래의 분자 그래프에서 원자 수준의 표현을 학습하기 위해 별도의 GNN을 사용하기 위해.
• 학습 중 계산 비용을 감소시키기 위해 엣지 샘플러를 적용하여 자원 사용을 크게 낮추면서 성능을 손상시키지 않기 위해.

실험 결과

연구 질문

• RQ1 분자 그래프 간의 모티프 수준 관계를 모델링하면 분자 표현 학습이 향상될 수 있는가?
• RQ2 모티프 수준의 메시지 전달을 통합하면 그래프 분류 작업에서 성능에 어떤 영향을 미치는가?
• RQ3 제안된 이종 모티프 그래프가 특히 소규모 분자 데이터셋에서 효과적인 다중 작업 학습을 지원할 수 있는가?
• RQ4 엣지 샘플러는 성능을 유지하면서 계산 비용을 얼마나 줄일 수 있는가?

주요 결과

• HM-GNN 모델은 여러 그래프 분류 벤치마크에서 이전 최신 기술 수준의 GNN 모델을 일관되게 능가합니다.
• 결합된 데이터셋에서 뛰어난 성능를 달성하여 소규모 분자 데이터셋에서 강력한 다중 작업 학습 능력을 입증합니다.
• 엣지 샘플러는 유사한 모델 성능를 유지하면서 계산 자원 사용을 크게 감소시킵니다.
• TF-IDF 기반의 모티프 필터링은 정보가 적은 모티프를 제거하여 표현 품질을 향상시켜 강건성을 높입니다.
• 원자 수준과 모티프 수준 표현의 공동 학습은 더 표현력 있는 분자 임베딩을 이룹니다.
• 이종 모티프 그래프를 통해 공유 모티프 연결을 통해 효과적인 분자 간 정보 교환을 가능하게 합니다.