[論文レビュー] Few-Shot Learning on Graphs via Super-Classes based on Graph Spectral Measures

Jatin Chauhan, Deepak Nathani+1 more|arXiv (Cornell University)|Feb 27, 2020

Advanced Graph Neural Networks被引用数 26

ひとこと要約

本稿では、グラフスペクトル測度とウォッサーシュタイン距離を活用してベースクラスのラベルをスーパークラスにクラスタリングし、関係性のインダクティブバイアスを強化するスーパーグラフを構築することで、少量のラベル付き例しか利用できない少数ショットグラフ分類の一般化性能を向上させる新規手法を提案する。本手法は、GNNをスーパークラス分類器（MLP）とグラフ自己注意ネットワーク（GAT）分類器の二重ヘッドで訓練することで、20ショット設定におけるTRIANGLESデータセットで、教師なしベースラインより最大20%高い精度を達成する。

ABSTRACT

We propose to study the problem of few shot graph classification in graph neural networks (GNNs) to recognize unseen classes, given limited labeled graph examples. Despite several interesting GNN variants being proposed recently for node and graph classification tasks, when faced with scarce labeled examples in the few shot setting, these GNNs exhibit significant loss in classification performance. Here, we present an approach where a probability measure is assigned to each graph based on the spectrum of the graphs normalized Laplacian. This enables us to accordingly cluster the graph base labels associated with each graph into super classes, where the Lp Wasserstein distance serves as our underlying distance metric. Subsequently, a super graph constructed based on the super classes is then fed to our proposed GNN framework which exploits the latent inter class relationships made explicit by the super graph to achieve better class label separation among the graphs. We conduct exhaustive empirical evaluations of our proposed method and show that it outperforms both the adaptation of state of the art graph classification methods to few shot scenario and our naive baseline GNNs. Additionally, we also extend and study the behavior of our method to semi supervised and active learning scenarios.

研究の動機と目的

• 少数ショット学習において、新しいクラスごとにわずかなラベル付き例しか利用できない状況下で、グラフニューラルネットワーク（GNN）の一般化性能が低いという課題に対処すること。
• 深さを増して受容 field を拡大しようとする際、過剰平滑化により性能が低下するという標準GNNの限界を克服すること。
• グラフデータ内の潜在的なクラス間関係を、スペクトル類似度に基づくスーパーグラフの構築によって活用し、サンプル効率と組み合わせ的一般化性能を向上させること。
• グラフスペクトル測度とウォッサーシュタイン重心、スーパークラスクラスタリングを組み合わせた新規フレームワークを導入し、グラフ分類タスクにおける少数ショット学習性能を向上させること。

提案手法

• 各グラフに対して、正規化ラプラシアン行列のスペクトルを用いてグラフスペクトル測度を割り当て、グラフ同士の比較が可能な度合い空間を構築する。
• スペクトル測度空間において $L^p$ ウォッサーシュタイン距離を測度として用い、各ベースクラスのウォッサーシュタイン重心（プロトタイプグラフ）を計算する。
• 同じベースクラスに属するグラフのスペクトル測度をウォッサーシュタイン距離を用いてスーパークラスにクラスタリングし、スーパークラス構造を形成する。
• ノードがスーパークラスを表し、スーパークラス空間における $k$-近傍法に基づいてエッジが形成されるスーパーグラフを構築する。これにより、意味的に類似したクラス間でメッセージパッシングが可能になる。
• 二重ヘッド分類器（スーパークラスヘッド（MLP）とグラフ自己注意ネットワーク（GAT）ヘッド）を備えたGNNを訓練し、最終的なクラス予測に用いる。損失関数としてクロスエントロピー損失を組み合わせて使用する。
• 初期化に基づくファインチューニング戦略を適用し、ファインチューニング中はGIN特徴抽出器とスーパークラスヘッドを固定し、新しいクラスの少量のサンプルのみでGATヘッドを更新する。

実験結果

リサーチクエスチョン

• RQ1 正規化ラプラシアンから導出されるグラフのスペクトル測度は、少数ショットグラフ学習において、意味的なスーパークラスにベースクラスのラベルをクラスタリングする有効な表現として機能するか？
• RQ2 スペクトル測度間のウォッサーシュタイン距離に基づいて構築されたスーパーグラフは、標準GNNと比較して、少数ショットグラフ分類における一般化性能を向上させるか？
• RQ3 GATに基づく最終分類器に加えてスーパークラス予測ヘッドを含めることで、低データ環境下での性能にどのような影響を与えるか？
• RQ4 情報伝達と過学習の回避のバランスをとるうえで、少数ショット設定において最適なスーパークラス数と $k$-値は何か？

主な発見

• TRIANGLESデータセットの20ショット設定において、提案手法は80.14%の精度を達成し、深層学習ベースラインより7%、教師なしベースラインより20%高い性能を示した。
• 本手法は複数のデータセットで一貫した性能向上を示した：Letter-High（20ショット時、スーパークラスあり vs なしで+2.19%）、Reddit-12K（+2.17%）、ENZYMES（+0.31%）の各データセットで20ショット設定で顕著な向上を確認した。
• 大多数のデータセットで3つのスーパークラスが最適であり、それ以上の増加はスパarsity化と情報欠落を引き起こし、特にLetter-HighとTRIANGLESで顕著であった。
• 1つのスーパークラスあたり2-NNのグラフ構造が最良の結果をもたらした。$k$ 値が高くなるとノイズの多い接続が導入され、特にReddit-12KとENZYMESで性能が低下した。
• アブレーションスタディにより、スーパークラスヘッド ($C^{sup}$) が不可欠であることが確認された。このヘッドを削除すると、性能が著しく低下し（例：Letter-Highで10ショット時、71.13% vs 73.61%）、顕著な影響を示した。
• 本手法は半教師あり学習およびアクティブラーニング設定に対しても良好に一般化でき、少数ショット学習を超えた低データ環境へのロバスト性と適応性を示した。