[論文レビュー] Deep Iterative and Adaptive Learning for Graph Neural Networks

Yu Chen, Lingfei Wu+1 more|arXiv (Cornell University)|Dec 17, 2019

Advanced Graph Neural Networks参考文献 36被引用数 42

ひとこと要約

DIAL-GNN はグラフ構造と GNN パラメータをエンドツーエンドで学習し、類似度指標とグラフ滑らかさ正則化に基づく学習済みグラフを反復的に改良することで、転導的および帰納的設定に適用可能です。

ABSTRACT

In this paper, we propose an end-to-end graph learning framework, namely Deep Iterative and Adaptive Learning for Graph Neural Networks (DIAL-GNN), for jointly learning the graph structure and graph embeddings simultaneously. We first cast the graph structure learning problem as a similarity metric learning problem and leverage an adapted graph regularization for controlling smoothness, connectivity and sparsity of the generated graph. We further propose a novel iterative method for searching for a hidden graph structure that augments the initial graph structure. Our iterative method dynamically stops when the learned graph structure approaches close enough to the optimal graph. Our extensive experiments demonstrate that the proposed DIAL-GNN model can consistently outperform or match state-of-the-art baselines in terms of both downstream task performance and computational time. The proposed approach can cope with both transductive learning and inductive learning.

研究の動機と目的

• グラフが利用できない、またはノイズが多い場合に自動的なグラフ構造学習を動機付ける。
• GNN パラメータとグラフ構造を共同で学習するエンドツーエンドの枠組みを提案する。
• グラフ学習を類似度指標学習とグラフ正則化として扱い、滑らかさと疎性を制御する。
• グラフがタスクに対してほぼ最適になるまで動的に停止する反復法を開発する。

提案手法

• ノード特徴間の初期対称類似度 S を m 視点で構築するための、学習可能なマルチヘッドコサイン類似度を設計する。
• S に ε-近傍マスクを適用して不要な接続を減らし、スパースな隣接行列 A を抽出する。
• 滑らかさを強制する Dirichlet エネルギー項で学習済みグラフを正則化し、分離されたグラフを抑制する f(A)（疎性/接続性項）を加える。
• グラフ学習と下流の予測タスクを結合する総損失 L = L_pred + L_G を形成し、埋め込みには 2 層の GCN を用いる。
• 学習した隣接行列を初期グラフ A0 とバランスの取れた混合で組み合わせ、A-tilde = lambda L0 + (1-lambda) A/row-sum(A) を用いて有用な事前構造を保持する。
• A-tilde から埋め込み Z を反復的に更新し、埋め込みを用いて A を洗練させ、収束条件が満たされるか最大反復回数に達するまで動的に停止する。
• 生の特徴ベースのグラフと埋め込みベースのグラフを組み合わせて A-bar = eta A-tilde + (1-eta) A-tilde(0) として、両方の情報源を活用することもできる。

実験結果

リサーチクエスチョン

• RQ1 学習済みのグラフ構造は、固定グラフや別個に学習したグラフと比較して GNN のタスク性能を改善できるか。
• RQ2 反復的で動的停止を伴うグラフ細分化アプローチは、ノイズのあるまたは不完全な初期グラフに対して頑健か。
• RQ3 初期グラフ構造と学習で得られた調整の組み合わせは、転導的および帰納的学習設定にどのように影響するか。
• RQ4 反復的なグラフ学習の計算上のトレードオフは、固定グラフの GCN ベースラインとどう比較されるか。
• RQ5 エッジ削除や挿入に対して、学習済みグラフはベースライン GCN と比べてどのような性能を示すか。

主な発見

Methods	Cora	Citeseer	Wine	Cancer	Digits
RBF SVM	59.7 (0.0)	60.2 (0.0)	94.1 (2.9)	91.7 (3.1)	86.9 (3.2)
SemiEmb	63.1 (0.1)	68.1 (0.1)	91.9 (0.1)	89.7 (0.1)	90.9 (0.1)
LDS	84.1 (0.4)	75.0 (0.4)	97.3 (0.4)	94.4 (1.9)	92.5 (0.7)
GCN	81.0 (0.2)	70.9 (0.3)	—	—	—
GAT	82.5 (0.4)	70.9 (0.4)	—	—	—
kNN-GCN	—	—	95.9 (0.9)	94.7 (1.2)	89.5 (1.3)
LDS*	83.9 (0.6)	74.8 (0.3)	96.9 (1.4)	93.4 (2.4)	90.8 (2.5)
DIAL-GNN	84.5 (0.3)	74.1 (0.2)	97.8 (0.6)	95.1 (1.0)	93.1 (0.5)

• DIAL-GNN は、転導・帰納設定の複数データセットで最先端のベースラインと一貫して同等以上の性能を示す。
• グラフが提供されない場合、DIAL-GNN は kNN-GCN を上回り、GNN パラメータとグラフ学習の結合の価値を示す。
• 反復学習コンポーネントを除去した場合、性能が大幅に低下することをアブレーションで確認でき、反復的なグラフ細分化と結合最適化の重要性を強調する。
• ノイズの多いグラフにも頑健で、エッジの追加・削除時に GCN よりも良い性能を示す。