[論文レビュー] Transductive Linear Probing: A Novel Framework for Few-Shot Node Classification

Zhen Tan, Song Wang+3 more|arXiv (Cornell University)|Dec 11, 2022

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、少数のラベル付きノード上で線形分類器を微調整するための新規フレームワークであるトランスductive線形プロービング（TLP）を提案する。この手法は、グラフ対照的学習（GCL）で事前学習されたノード埋め込みを、少々のラベル付きノードに適用して線形分類器を微調整することで、少数のラベルでノード分類を実現する。驚くべきことに、TLPは自己教師ありGCL事前学習を用いても、事前学習段階で真のラベルを一切使用しない状況でも、最先端のメタラーニング手法を上回る性能を示し、低ラベル監視環境下での頑健性と転送可能性を実証している。

ABSTRACT

Few-shot node classification is tasked to provide accurate predictions for nodes from novel classes with only few representative labeled nodes. This problem has drawn tremendous attention for its projection to prevailing real-world applications, such as product categorization for newly added commodity categories on an E-commerce platform with scarce records or diagnoses for rare diseases on a patient similarity graph. To tackle such challenging label scarcity issues in the non-Euclidean graph domain, meta-learning has become a successful and predominant paradigm. More recently, inspired by the development of graph self-supervised learning, transferring pretrained node embeddings for few-shot node classification could be a promising alternative to meta-learning but remains unexposed. In this work, we empirically demonstrate the potential of an alternative framework, extit{Transductive Linear Probing}, that transfers pretrained node embeddings, which are learned from graph contrastive learning methods. We further extend the setting of few-shot node classification from standard fully supervised to a more realistic self-supervised setting, where meta-learning methods cannot be easily deployed due to the shortage of supervision from training classes. Surprisingly, even without any ground-truth labels, transductive linear probing with self-supervised graph contrastive pretraining can outperform the state-of-the-art fully supervised meta-learning based methods under the same protocol. We hope this work can shed new light on few-shot node classification problems and foster future research on learning from scarcely labeled instances on graphs.

研究の動機と目的

• メタラーニングの少数ラベルノード分類における限界、特に豊富なベースクラスラベルとエピソード学習に依存する点を是正すること。
• グラフ対照的学習（GCL）から事前学習されたノード埋め込みを転移することで、メタラーニングの代替手段として有効であるかを検討すること。
• ラベルの不足によりメタラーニングが不適切となる現実的な自己教師あり設定下で、TLPの性能を評価すること。
• GCL事前学習における監視の役割が、少数ラベル分類に与える影響を分析すること。
• 一般化可能なGNNエンコーダーが少数ラベル分類に不可欠であるという実証的証拠を提供すること。

提案手法

• TLPは、グラフ対照的学習（GCL）で事前学習されたノード埋め込みを、新規クラスからの少数のラベル付きノード（サポートセット）上で微調整された線形分類器に転送する。
• フレームワークはトランスダクティブ設定で動作し、推論時に全グラフ構造を活用することで予測精度を向上させる。
• 2つのバリエーションを提案する：自己教師ありGCL（例：GraphCL、SUGRL）を用いたTLPと、教師ありGCL（例：GraphCL*）を用いたTLP。
• エピソード学習やメタ最適化を回避し、GCLで学習された表現の一般化能力に依存する。
• ノード表現は、GNNエンコーダーを固定したまま、サポートセット上でクロスエントロピー損失を用いた線形ヘッドで微調整される。
• 実験では、6つの実世界データセットにおいて、同じ評価プロトコル下でTLPをメタラーニングベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありGCL事前学習を用いたトランスダクティブ線形プロービングは、事前学習段階でラベルデータを一切使用しない状況でも、メタラーニングを上回ることができるか？
• RQ2 GCL事前学習段階でラベルが存在するか否かが、TLPの少数ラベル分類性能に与える影響は何か？
• RQ3 CiteSeerのようなクラス数が少ないデータセットではなぜメタラーニング手法が性能を発揮できないのか？TLPはその問題をどのように緩和するか？
• RQ4 GCLで学習されたノード表現の質が、少数ラベル分類の成功にどの程度寄与するか？
• RQ5 ラベルが少ない環境下で、メタラーニングとTLPフレームワークの間には、スケーラビリティと適応性のトレードオフが存在するか？

主な発見

• 自己教師ありGCL事前学習を用いたTLPは、CorAFullおよびCiteSeerの両データセットで、最先端のメタラーニング手法を上回る性能を示し、事前学習段階で真のラベルを一切使用しない状況下でも同様の結果を達成した。
• CiteSeerでは、メタラーニングとTLPの性能差がCoraFullよりも顕著に大きかった。これは、ラベル多様性が限られるため、メタラーニングがより困難であることを示唆している。
• 自己教師ありGCLを用いたTLPは、教師ありGCLを用いたTLPよりも優れたクラスタリング性能を達成しており、ラベルバイアスを回避することで、新規クラスへの一般化が向上していることが示唆された。
• t-SNE可視化では、特にCiteSeerにおいて、TLPがメタラーニングよりもより判別力があり、分離可能なノード表現を学習していることが確認された。
• NMIおよびARIスコアにおいて、TLPは全データセットでメタラーニングを上回り、特にCiteSeerで最大の向上が観察された。
• TLPは低監視環境下で優れたスケーラビリティと一般化性能を示しており、メタラーニングの実用的代替手段としての可能性を浮き彫りにした。