[論文レビュー] T2-GNN: Graph Neural Networks for Graphs with Incomplete Features and Structure via Teacher-Student Distillation

Cuiying Huo, Di Jin+4 more|arXiv (Cornell University)|Dec 24, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本論文では、欠損した特徴量と構造を有するグラフ上でGNNを向上させるために、特徴量と構造の教師モデルを別々に訓練し、二重の distillation を通じて学生GNNをガイドする教師-生徒知識蒸留フレームワーク、T2-GNNを提案する。この手法は顕著な性能向上を達成し、さまざまなデータセットにおいてマスキング比を変化させた状況下でGCNに対して平均8.69%の向上を示し、欠損特徴量と構造の間の相互干渉を効果的かつ頑健に処理できることを示している。

ABSTRACT

Graph Neural Networks (GNNs) have been a prevailing technique for tackling various analysis tasks on graph data. A key premise for the remarkable performance of GNNs relies on complete and trustworthy initial graph descriptions (i.e., node features and graph structure), which is often not satisfied since real-world graphs are often incomplete due to various unavoidable factors. In particular, GNNs face greater challenges when both node features and graph structure are incomplete at the same time. The existing methods either focus on feature completion or structure completion. They usually rely on the matching relationship between features and structure, or employ joint learning of node representation and feature (or structure) completion in the hope of achieving mutual benefit. However, recent studies confirm that the mutual interference between features and structure leads to the degradation of GNN performance. When both features and structure are incomplete, the mismatch between features and structure caused by the missing randomness exacerbates the interference between the two, which may trigger incorrect completions that negatively affect node representation. To this end, in this paper we propose a general GNN framework based on teacher-student distillation to improve the performance of GNNs on incomplete graphs, namely T2-GNN. To avoid the interference between features and structure, we separately design feature-level and structure-level teacher models to provide targeted guidance for student model (base GNNs, such as GCN) through distillation. Then we design two personalized methods to obtain well-trained feature and structure teachers. To ensure that the knowledge of the teacher model is comprehensively and effectively distilled to the student model, we further propose a dual distillation mode to enable the student to acquire as much expert knowledge as possible.

研究の動機と目的

• 欠損データによるノード特徴量とグラフ構造の両方が不完全である状況におけるGNNの性能低下という課題に対処すること。
• 既存の統合的補完手法で見られる、不完全な特徴量と構造の間の相互干渉を克服すること。
• 誤りの伝搬を避けるために、知識蒸留を用いて特徴量と構造の補完を分離する汎用的なGNNフレームワークの開発。
• 両方の蒸留（出力スコアと中間表現）を通じて、専門的な教師から学生モデルへの包括的かつ効果的な知識移転を保証すること。
• 異なる実世界のグラフにおいて、特徴量と構造の不完全度が異なる状況でも、頑健で効果的な性能を示すことを実証すること。

提案手法

• マスキングされたノード特徴量に基づいて学習する特徴量ベースの教師モデルと、再構築されたグラフ構造に基づいて学習する構造ベースの教師モデルを別々に設計し、的確なガイダンスを提供する。
• PPRに基づく近隣ノード選択と自己教師型対照学習を活用した、パーソナライズされた手法を用いて、特徴量および構造の教師モデルを訓練し、耐性を高める。
• 出力スコアの蒸留と中間表現の蒸留の両方を通じて、両方の教師モデルから学生GNNへ知識を移転する二重蒸留機構を実装する。
• データの信頼性に基づいてガイダンスの重みを動的に調整できるように、学習可能なハイパーパrameter λ を用いて、特徴量と構造の蒸留損失をバランスさせる。
• 負のラベルへの注目度を制御するため、蒸留損失に温度パrameter ρ を用い、小さなρ値（1〜2）がノイズに敏感でないことを示している。
• ベースとなるGNN（例：GCN）を学生モデルとして採用し、学生の元のアーキテクチャと誘導的バイアスを保持したまま、エンドツーエンドの学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、GNNにおける不完全な特徴量と構造の間の相互干渉を効果的に緩和できるか？
• RQ2 別々の教師モデルを用いて特徴量と構造の補完を分離することで、統合学習手法に比べてより優れた性能が得られるか？
• RQ3 出力スコアと中間層での二重蒸留は、単一モードの蒸留に比べてどのように知識移転を向上させるか？
• RQ4 top-k近隣ノード数、蒸留温度ρ、バランス重みλといったハイパーパrameterの影響は、モデルの頑健性にどのように現れるか？
• RQ5 T2-GNNは、特徴量と構造の不完全度が異なる多様な実世界のグラフに、どの程度一般化可能か？

主な発見

• T2-GNNは、マスキング比を変化させた8つのベンチマークデータセットにおいて、GCNに対して平均8.69%の性能向上を達成し、8.01%から9.43%の範囲で向上を示した。
• アブレーションスタディの結果、特徴量教師と構造教師の両方が不可欠であることが確認され、w/o_Teacher_str および w/o_Teacher_fea ではデータセットに応じて性能が不安定になることが示され、適応的重み付けの必要性が強調された。
• 出力スコアと中間表現の両方での二重蒸留は、単一モードの蒸留を常に上回り、包括的な知識移転が学生モデルの性能向上に寄与することを証明した。
• 最適なλ（バランスパラメータ）の値はデータセットによって異なる——Wisconsinではλ = 0.8、Squirrelではλ = 0.4—これは、異なるグラフで特徴量と構造の完全性の信頼性が異なることを示している。
• 蒸留温度ρは相対的に感度が低く、小さな値（1〜2）がわずかに優れた結果をもたらし、負のラベルからのノイズを最小限に抑えることで頑健性が向上することを示唆している。
• パラメータ感度分析から、top-k近隣ノード選択（k）には最適な範囲があることが判明した。あまりに少ないか多すぎる近隣ノードは性能を低下させ、情報の豊かさとノイズの間のトレードオフが存在することが示された。