[논문 리뷰] Interpreting and Unifying Graph Neural Networks with An Optimization Framework

Meiqi Zhu, Xiao Wang외 3명|arXiv (Cornell University)|2021. 01. 28.

Advanced Graph Neural Networks참고 문헌 49인용 수 28

한 줄 요약

논문은 특징 적합성 및 그래프 Laplacian 정규화 목표를 결합한 단일 최적화 프레임워크로 다양한 GNN 전파 메커니즘을 설명하고, 이 프레임워크 내에서 저역통과 및 고역통 필터를 갖는 새로운 GNN을 도출한다.

ABSTRACT

Graph Neural Networks (GNNs) have received considerable attention on graph-structured data learning for a wide variety of tasks. The well-designed propagation mechanism which has been demonstrated effective is the most fundamental part of GNNs. Although most of GNNs basically follow a message passing manner, litter effort has been made to discover and analyze their essential relations. In this paper, we establish a surprising connection between different propagation mechanisms with a unified optimization problem, showing that despite the proliferation of various GNNs, in fact, their proposed propagation mechanisms are the optimal solution optimizing a feature fitting function over a wide class of graph kernels with a graph regularization term. Our proposed unified optimization framework, summarizing the commonalities between several of the most representative GNNs, not only provides a macroscopic view on surveying the relations between different GNNs, but also further opens up new opportunities for flexibly designing new GNNs. With the proposed framework, we discover that existing works usually utilize naive graph convolutional kernels for feature fitting function, and we further develop two novel objective functions considering adjustable graph kernels showing low-pass or high-pass filtering capabilities respectively. Moreover, we provide the convergence proofs and expressive power comparisons for the proposed models. Extensive experiments on benchmark datasets clearly show that the proposed GNNs not only outperform the state-of-the-art methods but also have good ability to alleviate over-smoothing, and further verify the feasibility for designing GNNs with our unified optimization framework.

연구 동기 및 목표

• 다양한 GNN 전파 메커니즘에 대한 거시적이고 원리적 관점을 제시한다.
• 특징 적합성 항과 그래프 정규화 항을 결합한 통합 최적화 목표를 제안한다.
• 대표적인 GNN들(GCN, SGC, PPNP/APPNP, JKNet, DAGNN)이 프레임워크에 어떻게 맞는지 보인다.
• 저역-필터링과 고역-필터링 커널을 가진 두 가지 새로운 GNN 모델을 고안한다.
• 수렴성과 표현력에 대한 이론적 분석과 경험적 검증을 제공한다.

제안 방법

• 특징 적합 항과 그래프 라플라시안 정규화 항의 두 가지 용어를 결합하는 목표를 정의한다.
• 다양한 필터링 동작을 구현하기 위해 유연한 그래프 합성 커널 F1과 F2를 도입한다.
• 여러 GNN들이 특정 F1, F2 및 정규화 매개변수의 특수한 경우에 해당하는 목표의 특수한 사례에 대응함을 보인다.
• 통합 목표 아래 전파에 대한 닫힌 형태/반복 해를 도출한다.
• 저역-통과와 고역-필터 커널을 갖는 두 가지 새로운 GNN 모델(GNN-LF 및 GNN-HF)을 개발하고 이들의 수렴성 및 표현력을 분석한다.
• 기존 모델을 통합 프레임워크와 연결하는 이론적 관계(정리)를 제공하고 설계에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 공통의 GNN 전파 메커니즘을 특징 적합 항과 라플라시안 정규화 항을 갖는 단일 최적화 프레임워크로 통합할 수 있는가?
• RQ2 그래프 합성 커널(F1, F2)의 서로 다른 선택이 알려진 GNN들에 어떻게 대응하며, 이는 새로운 아키텍처에 어떤 영감을 주는가?
• RQ3 프레임워크 내의 새로운 저역/고역 커널이 과도한 평탄화를 완화하고 표현력을 향상시키는가?
• RQ4 제안된 GNN-LF 및 GNN-HF 모델의 수렴 특성과 표현력은 어떠한가?
• RQ5 이 프레임워크가 직관적인 목표를 가진 차세대 GNN의 원리적 설계에 가이드가 될 수 있는가?

주요 결과

• 통합 목표가 여러 대표 GNN의 전파 메커니즘을 재현하며 두 항 최적화를 통해 연결한다.
• SGC/GCN 같은 GNN은 순수 그래프 정규화 목표에 대응하고, APPNP/PPNP는 원래의 특징을 인코딩하는 적합성 항을 도입한다.
• 프레임워크를 통해 과도한 평탄화를 완화할 수 있는 저역/고역 필터링 커널을 갖는 두 가지 새로운 GNN을 설계할 수 있다.
• 제안된 모델들에 대한 수렴성 및 표현력 비교에 대한 이론적 분석이 제공된다.
• 광범위한 실험에서 제안된 GNN들이 최첨단 방법들을 능가하고, 통합 프레임워크 하에서 GNN을 설계하는 실현 가능성을 확인한다.