[논문 리뷰] MagNet: A Neural Network for Directed Graphs

Xitong Zhang, Yixuan He외 3명|PubMed|2021. 02. 22.

Advanced Graph Neural Networks참고 문헌 42인용 수 48

한 줄 요약

MagNet은 자기 라플라시안(magnetic Laplacian)을 이용한 방향 그래프용 스펙트럴 GNN을 도입하여 여러 데이터셋에서 강력한 노드 분류 및 링크 예측 성능을 달성합니다.

ABSTRACT

The prevalence of graph-based data has spurred the rapid development of graph neural networks (GNNs) and related machine learning algorithms. Yet, despite the many datasets naturally modeled as directed graphs, including citation, website, and traffic networks, the vast majority of this research focuses on undirected graphs. In this paper, we propose <i>MagNet</i>, a GNN for directed graphs based on a complex Hermitian matrix known as the magnetic Laplacian. This matrix encodes undirected geometric structure in the magnitude of its entries and directional information in their phase. A "charge" parameter attunes spectral information to variation among directed cycles. We apply our network to a variety of directed graph node classification and link prediction tasks showing that MagNet performs well on all tasks and that its performance exceeds all other methods on a majority of such tasks. The underlying principles of MagNet are such that it can be adapted to other GNN architectures.

연구 동기 및 목표

• adjacency를 대칭화하지 않고도 방향 그래프를 기본적으로 다루는 그래프 신경망을 동기부여한다.
• MagNet, 방향을 복소수 위상으로 인코딩하는 자기 라플라시안 기반의 스펙트럴 GNN을 제안한다.
• 다양한 데이터셋에서 노드 분류 및 링크 예측에 대한 MagNet의 효과를 입증한다.

제안 방법

• 복소수 히르민 표헌인 magnetic Laplacian L^(q)를 사용하여 모양(크기) 및 방향을 위상으로 인코딩한다.
• L^(q)의 고유벡터로 정의된 방향성 있는 그래프 푸리에 변환을 정의하고 Chebyshev 다항 근사를 통한 스펙트럴 합성(convolution)을 수행한다.
• 복소수 값을 가지는 합성 및 복소수 ReLU를 갖는 다층 네트워크로 MagNet을 구현하고, 분류나 링크 예측을 위해 실수 특징으로 unwind한다.
• 교차 검증을 통해 데이터셋별 최적 q 값을 학습하여 방향 정보를 균형 있게 조정한다.
• 컨볼루션 행렬을 자기 라플라시안 기반 연산자로 교체하여 ChebNet 등 다른 스펙트럴 아키텍처에 적용 가능하도록 접근 방식을 조정한다.

실험 결과

연구 질문

• RQ1 스펙트럴 그래프 신경망을 대칭 전처리 없이 방향 그래프에 어떻게 적용할 수 있는가?
• RQ2 자 방향 위상 정보를 자기 라플라시안으로 포함시키는 것이 방향 그래프에서 노드 분류와 링크 예측 성능을 향상시키는가?
• RQ3 다양한 데이터셋에서 성능을 최적화하는 방향성 매개변수 q의 역할은 무엇인가?
• RQ4 MagNet을 기존의 스펙트럴 아키텍처에 일반적인 방향 그래프 확장으로 통합할 수 있는가?

주요 결과

유형	방법	Cornell	Texas	Wisconsin	Cora-ML	CiteSeer	Telegram
스펙트럴	ChebNet	79.8 ± 5.0	79.2 ± 7.5	81.6 ± 6.3	80.0 ± 1.8	66.7 ± 1.6	70.2 ± 6.8
스펙트럴	GCN	59.0 ± 6.4	58.7 ± 3.8	55.9 ± 5.4	82.0 ± 1.1	66.0 ± 1.5	73.4 ± 5.8
공간	APPNP	58.7 ± 4.0	57.0 ± 4.8	51.8 ± 7.4	82.6 ± 1.4	66.9 ± 1.8	67.3 ± 3.0
공간	SAGE	80.0 ± 6.1	84.3 ± 5.5	83.1 ± 4.8	82.3 ± 1.2	66.0 ± 1.5	56.6 ± 6.0
공간	GIN	57.9 ± 5.7	65.2 ± 6.5	58.2 ± 5.1	78.1 ± 2.0	63.3 ± 2.5	74.4 ± 8.1
공간	GAT	57.6 ± 4.9	61.1 ± 5.0	54.1 ± 4.2	81.9 ± 1.0	67.3 ± 1.3	72.6 ± 7.5
방향	DGCN	67.3 ± 4.3	71.7 ± 7.4	65.5 ± 4.7	81.3 ± 1.4	66.3 ± 2.0	90.4 ± 5.6
방향	Digraph	66.8 ± 6.2	64.9 ± 8.1	59.6 ± 3.8	79.4 ± 1.8	62.6 ± 2.2	82.0 ± 3.1
방향	DiGraphIB	64.4 ± 9.0	64.9 ± 13.7	64.1 ± 7.0	79.3 ± 1.2	61.1 ± 1.7	64.1 ± 7.0
이 논문	MagNet	84.3 ± 7.0	83.3 ± 6.1	85.7 ± 3.2	79.8 ± 2.5	67.5 ± 1.8	87.6 ± 2.9

• MagNet은 여섯 개의 노드 분류 작업 중 다섯 개에서 최상위 또는 두 번째 최상위를 달성한다.
• MagNet은 여덟 개의 링크 예측 작업 중 일곱 개에서 최상위를 달성한다.
• 실제 데이터셋에서 MagNet은 종종 스펙트럴 및 공간적 베이스라인 및 비방향 변형보다 나은 성능을 보인다.
• 교차 검증된 q 값은 대부분의 데이터셋에서 비제로 방향성이 도움이 되지만 일부 인용 네트워크에서는 q≈0이 최적이다.
• MagNet은 ChebNet의 자기 라플라시안 일반화로도 볼 수 있으며, 다른 스펙트럴 GNN 아키텍처에 적용 가능하다.