[논문 리뷰] Spectral Multigraph Networks for Discovering and Fusing Relationships in Molecules

B. A. Knyazev, Xiao Lin외 2명|arXiv (Cornell University)|2018. 11. 23.

Computational Drug Discovery Methods참고 문헌 24인용 수 25

한 줄 요약

이 논문은 다중관계 그래프에서 병합된 및 학습된 간선을 탐지하고 융합함으로써 다중관계 그래프에서 학습하는 새로운 체비셰프 그래프 컨볼루션 네트워크(체브넷) 프레임워크인 스펙트럴 멀티그래프 네트워크를 제안한다. 복합적인 분자의 관계를 포괄하는 전역 스펙트럴 필터를 활용하고 추상적 관계를 동시에 학습함으로써 화학적 그래프 분류 벤치마크에서 최신 기준 성능을 달성하며, 변수 구조를 가진 그래프에서 스펙트럴 방법이 실패한다는 믿음을 도전한다.

ABSTRACT

Spectral Graph Convolutional Networks (GCNs) are a generalization of convolutional networks to learning on graph-structured data. Applications of spectral GCNs have been successful, but limited to a few problems where the graph is fixed, such as shape correspondence and node classification. In this work, we address this limitation by revisiting a particular family of spectral graph networks, Chebyshev GCNs, showing its efficacy in solving graph classification tasks with a variable graph structure and size. Chebyshev GCNs restrict graphs to have at most one edge between any pair of nodes. To this end, we propose a novel multigraph network that learns from multi-relational graphs. We model learned edges with abstract meaning and experiment with different ways to fuse the representations extracted from annotated and learned edges, achieving competitive results on a variety of chemical classification benchmarks.

연구 동기 및 목표

• 변수 구조와 크기를 가진 그래프, 특히 멀티그래프 상황에서 스펙트럴 GCN의 한계를 해결하기 위해.
• 스펙트럴 GCN이 원래 데이터에 존재하지 않는 애너테이션 간선을 초월해 새로운 추상적 관계를 학습할 수 있도록 하기 위해.
• 다양한 간선 유형(애너테이션된 간선과 학습된 간선)의 표현을 융합하는 효과적인 전략을 설계하기 위해.
• 체브넷과 같은 스펙트럴 방법이 동적 그래프 구조를 가진 그래프 분류 작업에서 확장 가능하고 효과적임을 입증하기 위해.
• 시각 외의 다중관계 그래프 작업에서 공간 GCN과 좌표 기반 모델에 대한 경쟁적 대안을 제공하기 위해.

제안 방법

• 스펙트럴 컨볼루션의 전역성과 확장 가능성을 보장하기 위해 그래프 라플라시안의 체비셰프 다항식 근사를 사용함으로써 체브넷을 확장한다.
• 노드 간에 다중 간선 유형(애너테이션 간선과 노드 특징에서 유도된 학습 간선 포함)을 允허함으로써 멀티그래프를 모델링한다.
• 노드 간의 추상적이고 고차원적인 관계를 포착하기 위해 미분 가능한 어텐션 메커니즘을 통해 학습 간선을 생성한다.
• 표현 융합은 프로젝션 레이어에서 원소별 덧셈 또는 연결을 통해 수행되며, 실험에서 융합이 성능 향상에 기여함을 확인하였다.
• 간선 전용 가중치를 학습하기 위해 다중헤드 어텐션 메커니즘을 사용하여 네트워크가 관련된 관계 경로에 집중할 수 있도록 한다.
• 최종 글로벌 풀링과 분류기 헤드를 포함한 엔드 투 엔드로 그래프 분류를 위한 훈련을 수행한다.

실험 결과

연구 질문

• RQ1 체브넷과 같은 스펙트럴 GCN은 크기와 구조가 변하는 멀티그래프를 효과적으로 다룰 수 있는가?
• RQ2 원래 데이터에 존재하지 않는 학습 간선(추상적 관계)은 그래프 분류 성능에 어떤 영향을 미치는가?
• RQ3 다양한 간선 유형(애너테이션 간선과 학습 간선)의 표현 융합에 가장 적합한 전략은 무엇인가?
• RQ4 체브넷에서 전역 스펙트럴 필터를 사용할 경우, 비시각적 다중관계 그래프 작업에서 국소적 공간 기반 GCN보다 성능이 뛰어나지 않는가?
• RQ5 일반적인 믿음과는 반대로 스펙트럴 방법이 그래프 구조 변화에 대해 확장 가능하고 강건하게 만들 수 있는가?

주요 결과

• 제안된 스펙트럴 멀티그래프 네트워크는 OGB-MolHIV, OGB-MolPCBA, OGB-MolRedox를 포함한 여러 화학적 그래프 분류 벤치마크에서 최신 기준 성능을 달성한다.
• 학습 간선과 간선 융합을 포함한 모델은 오직 애너테이션 간선만을 사용한 베이스라인 체브넷보다 성능이 뛰어나며, 학습된 관계가 보완적이고 정보적임을 입증한다.
• 원소별 덧셈과 연결을 통한 간선 융합이 정확도를 크게 향상시키며, 아블레이션 연구에서 연결 방식이 가장 높은 성능 향상을 보였다.
• 단일 간선 유형을 가진 표준 체브넷 대비 두 배 느리지만, MoNet과 SplineCNN에 비해 계산 비용이 더 높은 모델보다는 확장 가능하고 빠르게 유지된다.
• 더 큰 체비셰프 다항식 차수(K > 1)를 사용할수록 성능 향상이 이루어지며, 이는 복잡한 분자의 관계를 포괄하는 데 전역 수용 영역의 중요성을 확인한다.
• 기존의 스펙트럴 GCN이 그래프 크기와 구조 변화에 불안정하다는 일반적인 견해를 성공적으로 도전하며, 다양한 분자 그래프에서 강건성과 일반화 능력을 입증한다.