[論文レビュー] Iterative Deep Graph Learning for Graph Neural Networks: Better and Robust Node Embeddings

Yu Chen, Lingfei Wu+1 more|arXiv (Cornell University)|Jun 21, 2020

Advanced Graph Neural Networks参考文献 65被引用数 201

ひとこと要約

IDGL は下流タスクのためにグラフ構造とノード埋め込みを共同かつ反復的に学習し、スケーラブルな IDGL-Anch 変種を備える。これにより敵対的なグラフに対するロバスト性が向上し、トランダクティブとインダクティブ学習をサポートする。

ABSTRACT

In this paper, we propose an end-to-end graph learning framework, namely Iterative Deep Graph Learning (IDGL), for jointly and iteratively learning graph structure and graph embedding. The key rationale of IDGL is to learn a better graph structure based on better node embeddings, and vice versa (i.e., better node embeddings based on a better graph structure). Our iterative method dynamically stops when the learned graph structure approaches close enough to the graph optimized for the downstream prediction task. In addition, we cast the graph learning problem as a similarity metric learning problem and leverage adaptive graph regularization for controlling the quality of the learned graph. Finally, combining the anchor-based approximation technique, we further propose a scalable version of IDGL, namely IDGL-Anch, which significantly reduces the time and space complexity of IDGL without compromising the performance. Our extensive experiments on nine benchmarks show that our proposed IDGL models can consistently outperform or match the state-of-the-art baselines. Furthermore, IDGL can be more robust to adversarial graphs and cope with both transductive and inductive learning.

研究の動機と目的

• ノイズや不完全性のため、下流タスクに対する固定入力グラフのサブ最適性を動機づけ、対処する。
• グラフ構造とノード埋め込みの学習を交互に行うエンドツーエンドのフレームワークを開発し、予測を改善する。
• 適応的なグラフ正則化を通じて、インダクティブ学習と敵対的またはノイズの多いグラフに対するロバスト性を高める。

提案手法

• 学習可能な重み付きコサイン類似度を複数ヘッドで用いた類似度学習としてグラフ学習を定式化する。
• 類似度スコアから非負のスパース隣接行列を得るために epsilon-近傍のスパーシフィケーションを導入する。
• ノード数の2次から線形へと時間・空間計算量を削減するアンカーベースのスケーラブルなメトリック学習変種（IDGL-Anch）を提案する。
• 学習したグラフと初期グラフを線形結合して最終的な隣接行列を形成し、GNNのために用いる（Eq. 3）。
• 下流の予測子として2層の GCN を使用し、タスク損失とグラフ正則化損失（ハイブリッド損失）を共同最適化してパラメータを学習する。
• 計算コストを削減するため、ノード→アンカーとアンカー→ノードの伝搬を分解するハイブリッドメッセージパッシング方式を採用する（Eq. 7）。

実験結果

リサーチクエスチョン

• RQ1 改善された埋め込みに基づくグラフトポロジーのエンドツーエンドの反復プロセスは下流予測を改善するのか。
• RQ2 学習したグラフ構造と初期グラフを組み合わせることで、トランスダクティブおよびインダクティブ設定のロバスト性と予測品質が向上するのか。
• RQ3 大規模グラフにおいて、時間とメモリコストを削減しつつスケーラブルなアンカーベースの変種が性能を維持できるのか。
• RQ4 マルチヘッド重み付けとスパーシフィケーションを用いた類似度メトリックの学習は、ロバストなグラフ構築に有効か。
• RQ5 予測損失とグラフ正則化損失を joint に最適化することは、従来のビレベルまたは固定グラフアプローチと比較してどうか。

主な発見

• IDGL はグラフ有無を問わず、9 つのベンチマークで一貫して最先端のベースラインを上回るか同等の成績を示す。
• IDGL-Anch は線形の複雑さで、同等かそれ以上の結果を達成し、スケーラビリティが大幅に向上する。
• 反復学習プロセスは実際には迅速に収束し、タスクに適応する動的な停止基準を提供する。
• IDGL は敵対的なグラフに対してロバスト性を示し、ランダムなエッジの追加・削除の下でも競争力のある性能を維持する。
• タスク損失とグラフ正則化損失を jointly 最適化する方が、タスク搾傷損失のみまたはグラフ正則化のみを用いる場合よりも性能が高い（アブレーション結果）。
• インダクティブ設定では、固定グラフに依存する Baseline やインダクティブな状況を処理できないベースラインより、IDGL と IDGL-Anch が上回る。