[論文レビュー] Weakly-supervised Graph Meta-learning for Few-shot Node Classification.

Kaize Ding, Jianling Wang+3 more|arXiv (Cornell University)|Jun 12, 2021

Advanced Graph Neural Networks参考文献 50被引用数 5

ひとこと要約

本稿では、ノイズありの弱いラベル付きデータからクリーンなノード表現を想起することで、ロバスト性を向上させる弱い教師ありグラフメタラーニングフレームワークであるMeta-GHNを提案する。ロバストなエピソード訓練を通じて、Meta-GHNは転移可能なメタ知識を学習し、ラベルノイズ下での少サンプルノード分類において、既存手法を顕著に上回る性能を発揮する。

ABSTRACT

Graphs are widely used to model the relational structure of data, and the research of graph machine learning (ML) has a wide spectrum of applications ranging from drug design in molecular graphs to friendship recommendation in social networks. Prevailing approaches for graph ML typically require abundant labeled instances in achieving satisfactory results, which is commonly infeasible in real-world scenarios since labeled data for newly emerged concepts (e.g., new categorizations of nodes) on graphs is limited. Though meta-learning has been applied to different few-shot graph learning problems, most existing efforts predominately assume that all the data from those seen classes is gold-labeled, while those methods may lose their efficacy when the seen data is weakly-labeled with severe label noise. As such, we aim to investigate a novel problem of weakly-supervised graph meta-learning for improving the model robustness in terms of knowledge transfer. To achieve this goal, we propose a new graph meta-learning framework -- Graph Hallucination Networks (Meta-GHN) in this paper. Based on a new robustness-enhanced episodic training, Meta-GHN is meta-learned to hallucinate clean node representations from weakly-labeled data and extracts highly transferable meta-knowledge, which enables the model to quickly adapt to unseen tasks with few labeled instances. Extensive experiments demonstrate the superiority of Meta-GHN over existing graph meta-learning studies on the task of weakly-supervised few-shot node classification.

研究の動機と目的

• ゴールスタンダードラベルが入手不可能な現実世界の状況において、ラベルデータが乏しくかつノイズが多い状況下での少サンプルノード分類の課題に対処すること。
• ゴールラベル付きの監視を仮定するのではなく、弱いラベル付きデータから学習することで、知識転移におけるモデルのロバスト性を向上させること。
• ノイズありラベルからクリーンなノード表現を想起できるメタラーニングフレームワークを開発し、最小限のラベル例での未観測タスクへの効果的適応を可能にすること。
• 完璧な監視を仮定する既存のメタラーニング手法と、グラフ構造データにおいて深刻なラベルノイズが存在する現実世界の設定との間のギャップを埋めること。

提案手法

• Meta-GHNは、ラベルノイズに対して耐性を持つ表現をメタラーニングするための新しいロバストなエピソード訓練パラダイムを採用する。
• メタトレーニング中に弱いラベル付き入力データからクリーンなノード埋め込みを生成するグラフ想起モジュールを導入する。
• エピソード適応中に多様な少サンプルタスクにおける一般化を最適化することで、転移可能なメタ知識を学習する。
• 関係性のインダクティブバイアスをエンコードするためのグラフニューラルネットワークバックボーンに加え、表現品質を向上させるための対照学習目的を活用する。
• エピソードサンプリングとメタ最適化を交互に実行する。この過程で、自己一貫性を通じてノイズありの監視を是正する能力をモデルが学ぶ。
• 合成および実際の弱いラベル付き少サンプルタスク上でメタロスを最小化するように、エンドツーエンドで訓練される。

実験結果

リサーチクエスチョン

• RQ1 訓練データが顕著なノイズを含む弱いラベルで与えられる状況下でも、グラフメタラーニングフレームワークが少サンプルノード分類に効果的に一般化できるか。
• RQ2 ノイズありラベルからクリーンな表現を想起することで、グラフ学習におけるメタ知識転移がどのように向上するか。
• RQ3 標準的なメタラーニングアプローチと比較して、ロバストなエピソード訓練は、ラベル不確実性下でのモデル一般化をどの程度向上させるか。
• RQ4 提案フレームワークは、多様なグラフ構造およびラベルノイズレベルにおいても性能向上を維持するか。

主な発見

• Meta-GHNは、弱い教師あり少サンプルノード分類ベンチマークで最先端の性能を達成し、既存のグラフメタラーニング手法を上回る。
• モデルはラベルノイズに対して強く、監視が著しく損なわれても高い正確性を維持する。
• アブレーションスタディにより、想起モジュールが表現品質および一般化能力を顕著に向上させることを確認した。
• ロバストなエピソード訓練方式は、標準的なメタラーニングベースラインと比較して、より安定的かつ転移可能なメタ知識をもたらす。
• 異なるデータセットおよびノイズレベルにおいても、良好な一般化性能を示しており、現実世界の応用への広範な適用可能性を示している。