[論文レビュー] Interpreting and Unifying Graph Neural Networks with An Optimization Framework

Meiqi Zhu, Xiao Wang+3 more|arXiv (Cornell University)|Jan 28, 2021

Advanced Graph Neural Networks参考文献 49被引用数 28

ひとこと要約

本論文は、特徴適合とグラフラプラシアン正則化の目的を解く解として、様々なGNN伝播メカニズムを説明する統一最適化フレームワークを提示し、この枠組み内で低域通過と高域通過フィルターを持つ新しいGNNを導出します。

ABSTRACT

Graph Neural Networks (GNNs) have received considerable attention on graph-structured data learning for a wide variety of tasks. The well-designed propagation mechanism which has been demonstrated effective is the most fundamental part of GNNs. Although most of GNNs basically follow a message passing manner, litter effort has been made to discover and analyze their essential relations. In this paper, we establish a surprising connection between different propagation mechanisms with a unified optimization problem, showing that despite the proliferation of various GNNs, in fact, their proposed propagation mechanisms are the optimal solution optimizing a feature fitting function over a wide class of graph kernels with a graph regularization term. Our proposed unified optimization framework, summarizing the commonalities between several of the most representative GNNs, not only provides a macroscopic view on surveying the relations between different GNNs, but also further opens up new opportunities for flexibly designing new GNNs. With the proposed framework, we discover that existing works usually utilize naive graph convolutional kernels for feature fitting function, and we further develop two novel objective functions considering adjustable graph kernels showing low-pass or high-pass filtering capabilities respectively. Moreover, we provide the convergence proofs and expressive power comparisons for the proposed models. Extensive experiments on benchmark datasets clearly show that the proposed GNNs not only outperform the state-of-the-art methods but also have good ability to alleviate over-smoothing, and further verify the feasibility for designing GNNs with our unified optimization framework.

研究の動機と目的

• 多様なGNN伝播メカニズムの大局的で原理的な視点を動機づける。
• 特徴適合とグラフ正則化を組み合わせた統一的最適化目的を提案する。
• 代表的なGNN（GCN, SGC, PPNP/APPNP, JKNet, DAGNN）がフレームワークに適合することを示す。
• 低域通過と高域通過グラフカーネルを調整可能な2つの新規GNNを設計する。
• 収束と表現力に関する理論解析と経験的検証を提供する。

提案手法

• 特徴適合項とグラフラプラシアン正則化項を組み合わせた2項目の目的関数を定義する。
• 異なるフィルタリング挙動を実現する柔軟なグラフ畳み込みカーネルF1とF2を導入する。
• 特定のF1, F2, 正則化パラメータを用いた目的関数の特別な場合として、いくつかのGNNが対応することを示す。
• 統一された目的の下で伝播の閉形式解/反復解を導出する。
• 低域通過と高域通過カーネルを持つ新しい2つのGNNモデル（GNN-LFとGNN-HF）を開発し、その収束性と表現力を分析する。
• 既存モデルを統一フレームワークに結びつける定理（Theorems）を理論的に提供し、設計への含意を論じる。

実験結果

リサーチクエスチョン

• RQ1 共通のGNN伝播メカニズムを、特徴適合項とラプラシアン正則化項を備えた単一の最適化フレームワークの下で統一できるか？
• RQ2 グラフ畳み込みカーネル（F1, F2）の異なる選択は既知のGNNとどのように対応し、これが新しいアーキテクチャを触発できるか？
• RQ3 フレームワーク内の新規低域通過および高域通過カーネルは過平滑化を緩和し、表現力を向上させるか？
• RQ4 提案モデルであるGNN-LFとGNN-HFの収束特性と表現力はどうか？
• RQ5 このフレームワークは、解釈可能な目的を持つ将来のGNN設計を principled に導けるか？

主な発見

• 統一された目的は、2項最適化を介して、いくつかの代表的なGNNの伝播メカニズムを再現することができる。
• SGC/GCN のようなGNNは純粋なグラフ正則化目的に対応し、APPNP/PPNP は元の特徴を符号化する適合項を導入する。
• このフレームワークは、過平滑化を緩和できる調整可能な低域通過および高域通過フィルタリングカーネルを備えた2つの新規GNNを設計可能にする。
• 理論解析は提案モデルの収束と表現力の比較を提供する。
• 大規模な実験により、提案GNNが最先端手法を上回ること、統一フレームワークの下でGNNを設計する実現可能性を検証する。