[論文レビュー] Toward Robust Graph Semi-Supervised Learning against Extreme Data Scarcity

Kaize Ding, Elnaz Nouri+3 more|arXiv (Cornell University)|Aug 26, 2022

Advanced Graph Neural Networks被引用数 4

ひとこと要約

本稿では、構造的および意味的データ拡張モジュールを導入することで、極度のデータ不足下でも頑健性を高める新しいグラフ自己訓練フレームワークAGSTを提案する。メッセージ伝達を分離し、ノイズ低減と長距離特徴伝搬の向上を図るトポロジー拡張関数を用いることで、AGSTは、低ショットベンチマークにおいてベースライン比最大3.2%の精度向上を達成し、最先端の性能を実現する。

ABSTRACT

The success of graph neural networks on graph-based web mining highly relies on abundant human-annotated data, which is laborious to obtain in practice. When only few labeled nodes are available, how to improve their robustness is a key to achieve replicable and sustainable graph semi-supervised learning. Though self-training has been shown to be powerful for semi-supervised learning, its application on graph-structured data may fail because (1) larger receptive fields are not leveraged to capture long-range node interactions, which exacerbates the difficulty of propagating feature-label patterns from labeled nodes to unlabeled nodes; and (2) limited labeled data makes it challenging to learn well-separated decision boundaries for different node classes without explicitly capturing the underlying semantic structure. To address the challenges of capturing informative structural and semantic knowledge, we propose a new graph data augmentation framework, AGST (Augmented Graph Self-Training), which is built with two new (i.e., structural and semantic) augmentation modules on top of a decoupled GST backbone. In this work, we investigate whether this novel framework can learn a robust graph predictive model under the low-data context. We conduct comprehensive evaluations on semi-supervised node classification under different scenarios of limited labeled-node data. The experimental results demonstrate the unique contributions of the novel data augmentation framework for node classification with few labeled data.

研究の動機と目的

• 少数のラベル付きノードしか利用できない状況下で、グラフ半教師付き学習の一般化性能が低いという課題に対処すること。
• 長距離メッセージ伝達における過剰圧縮とノイズの多いグラフ構造が引き起こす構造的ボトルネックを克服すること。
• データが少ない状況下での信頼性の低い疑似ラベルによる意味的ボトルネックを軽減し、明確に分離された意思決定境界を捉えること。
• 自己訓練中に構造的および意味的知識の活用を強化する、頑健なフレームワークを設計すること。
• 人間によるアノテーションデータが限られた現実世界のシナリオにおいて、モデルの頑健性と性能を向上させること。

提案手法

• 教師モデルが個人化ページランクを用いて高次元ラベル伝搬を実行し、疑似ラベルを生成する、分離されたGNNバックボーンを提案する。
• 各GSTイテレーションでノイズ低減と長距離情報伝達の向上を図るために、決定論的なトポロジー精錬関数を適用する構造的データ拡張モジュールを導入する。
• 同じ疑似ラベルを持つノードの特徴クラスタリングを促進することで、意味的知識を強化する弱教師付きコントラスト学習損失を採用する。
• 学習済みモデルの信頼度に基づいてエッジの追加／削除を動的に制御するトポロジー拡張関数を用い、ハイパーパrameter βₐ と βᵣ でエッジ追加および削除の割合を制御する。
• 疑似ラベル付きノードにおけるクロスエントロピー損失とコントラスト損失を重み付きの目的関数に統合し、ハイパーパrameter λ₁ と λ₂ を用いて教師信号とコントラスト信号のバランスを取る。
• 構造的および意味的拡張を統合的に統合した統一されたAGSTフレームワークを構築し、極度のデータ不足下での一般化性能を向上させる。

Figure 1. Overview of the proposed framework. In each training iteration, AGST first perform high-order label propagation to generate pseudo labels on unlabeled nodes, then conduct feature transformation with the augmented training label set. In the meantime, a weakly-supervised contrastive loss is

実験結果

リサーチクエスチョン

• RQ1 トポロジーを精錬する構造的データ拡張は、低データグラフ半教師付き学習における長距離メッセージ伝搬を改善し、過剰圧縮を軽減できるか？
• RQ2 ラベル付きデータが極めて限られた状況下で、弱教師付きコントラスト学習は意思決定境界の分離を向上させられるか？
• RQ3 提案された構造的および意味的拡張コンponentsが、個別および統合的にデータ不足下でのモデルの頑健性にどのように寄与するか？
• RQ4 λ₁, λ₂, βₐ, βᵣ などのハイパーパrameter設定（例：λ₁, λ₂, βₐ, βᵣ）は、異なる低ショットグラフベンチマークで最適な性能を達成するか？
• RQ5 AGSTは、極度のデータ不足下で、精度および安定性の面で既存のGSTベースラインを上回るか？

主な発見

• AGSTはCoraおよびCiteSeerで最先端の性能を達成し、5ショット設定において最も強力なベースライン比で最大3.2%の精度向上を達成した。
• Cora（5ショット）では82.57±0.22%の精度を達成し、次に優れた手法よりも1.8%高い性能を示した。
• CiteSeer（5ショット）では71.52±0.11%の精度に達し、ベースライン比1.1%の向上を記録した。
• アブレーションスタディの結果、弱教師付きコントラスト損失およびトポロジー拡張関数の両方が不可欠であることが確認され、いずれかを除去すると性能が著しく低下した。
• 最適なハイパーパrameter値はλ₁=1およびλ₂=0.1であり、Coraではβₐ≈0.4およびβᵣ≈0.2がピークパフォーマンスを達成した。
• トポロジー拡張はCiteSeerのようなノイズの多いグラフで最大2.5%の性能向上をもたらし、構造的ノイズ低減の有効性を示した。

(a) Cora