[論文レビュー] Label-invariant Augmentation for Semi-Supervised Graph Classification

Yue Han, Chunhui Zhang+2 more|arXiv (Cornell University)|May 19, 2022

Advanced Graph Neural Networks被引用数 10

ひとこと要約

本稿では、元のグラフ構造を変更せずに特徴空間内でラベル整合性を持つ増強表現を生成する、新しい半教師ありグラフ対照学習手法であるグラフラベル不変増強（GLA）を提案する。GLAは、元のラベルを保持する最も困難（最悪ケース）な摂動を選択することで、手動で設計されたグラフ増強や負例ペアを必要とせずにモデルの汎化性能を向上させ、8つのベンチマークデータセットにおいて既存のGNNおよび対照学習手法を上回る性能を示した。

ABSTRACT

Recently, contrastiveness-based augmentation surges a new climax in the computer vision domain, where some operations, including rotation, crop, and flip, combined with dedicated algorithms, dramatically increase the model generalization and robustness. Following this trend, some pioneering attempts employ the similar idea to graph data. Nevertheless, unlike images, it is much more difficult to design reasonable augmentations without changing the nature of graphs. Although exciting, the current graph contrastive learning does not achieve as promising performance as visual contrastive learning. We conjecture the current performance of graph contrastive learning might be limited by the violation of the label-invariant augmentation assumption. In light of this, we propose a label-invariant augmentation for graph-structured data to address this challenge. Different from the node/edge modification and subgraph extraction, we conduct the augmentation in the representation space and generate the augmented samples in the most difficult direction while keeping the label of augmented data the same as the original samples. In the semi-supervised scenario, we demonstrate our proposed method outperforms the classical graph neural network based methods and recent graph contrastive learning on eight benchmark graph-structured data, followed by several in-depth experiments to further explore the label-invariant augmentation in several aspects.

研究の動機と目的

• 現在のグラフ対照学習手法が、手動で設計された、ラベルに反する可能性のあるグラフ増強に依存しているという限界を解消すること。
• 増強プロセスに下流分類タスクの目的関数を統合することで、半教師ありグラフ分類におけるモデルの汎化性能を向上させること。
• 対照学習における負例ペアの必要性を排除することにより、下流タスクでの性能を低下させる要因を回避すること。
• 元のグラフ構造を変更せずに表現空間で有効な増強を直接実現できることを示すこと。
• 表現空間におけるラベル不変増強が、生のグラフ増強や事後フィルタリングよりも優れた性能を発揮することを検証すること。

提案手法

• GLAは、生のグラフ構造ではなく、学習済みの表現空間でデータ増強を実行する。
• グラフレベルの表現に、大きさハイパーパramータ η でスケーリングされたランダムな単位ベクトルを加えることで、候補となる摂動を生成する。
• 元のクラスラベルを保持する（つまり、予測信頼度を維持する）摂動のみが有効とされ、ラベル不変性の性質が保証される。
• 有効な候補の中から、モデルの損失を最大にする、つまり分類器にとって最も困難（最悪ケース）なサンプルを選択する。
• 増強プロセス中に下流分類器を用いてラベル不変性を検証することで、事前学習とファインチューニングを統合する。
• 設計上、負例ペアを回避しており、最近の研究で負例ペアが対照学習の性能を悪化させる可能性があるという報告と整合する。

実験結果

リサーチクエスチョン

• RQ1 表現空間におけるラベル不変増強は、従来のグラフ増強を上回る半教師ありグラフ分類性能を実現できるか？
• RQ2 対照学習から負例ペアを排除することで、ラベル不変増強と組み合わせた場合に下流タスクの性能が向上するか？
• RQ3 表現空間増強と生のグラフ空間増強の間で、ロバストネスおよび汎化性能においてどのように差が現れるか？
• RQ4 最も困難な（最悪ケース）増強を選択するのと、ランダムまたは最も簡単な増強とを比較した場合、性能にどのような差が生じるか？
• RQ5 ドメイン特化の知識が不要な軽量で、バイレベル最適化でない戦略でも、ハードでラベル整合性を持つサンプルを効果的に生成できるか？

主な発見

• GLAは、半教師あり設定下で8つのベンチマークグラフデータセットにおいて、古典的なGNNおよび最近のグラフ対照学習手法を上回った。
• 負例ペアが含まれる場合、GLAの性能が著しく低下し、この設定において負例ペアが有害であることが確認された。これは、最近の視覚分野における対照学習の報告と一致する。
• η = 1 を使用すると、複数のデータセットで強力な汎化性能が得られ、GLA（η = 1）は GraphCL+Label-Invariant を上回った。これは、表現空間増強の優位性を示している。
• 有効な候補の中から最も困難な増強を選択することで、ランダムまたは最も簡単な増強と比較して顕著な性能向上が達成された。これは、最悪ケースサンプリングの有効性を裏付けている。
• ラベル不変性の性質は、GLAに限らず、他の対照学習手法に対しても事後適用することで性能向上が得られ、一般化可能性が示された。
• 表現空間増強により、新しいグラフを生成せずに効果的でラベル整合性のあるデータ増強が可能となり、ドメイン特化の増強設計への依存が軽減された。