[論文レビュー] Active Learning for Graph Neural Networks via Node Feature Propagation

Yuexin Wu, Yichong Xu+3 more|arXiv (Cornell University)|Oct 16, 2019

Advanced Graph Neural Networks参考文献 38被引用数 28

ひとこと要約

本稿では、ノード特徴の伝搬とK-メディイドスクラスタリングを用いて情報量の多いノードを選択する、GNN向けの新しいアクティブラーニング手法FeatPropを提案する。グラフ構造の表現を活用することで、特にラベルが少ない状況下でもサンプル効率と一般化性能を向上させ、複数のベンチマークデータセットで最先端のベースラインを上回る性能を達成する。

ABSTRACT

Graph Neural Networks (GNNs) for prediction tasks like node classification or edge prediction have received increasing attention in recent machine learning from graphically structured data. However, a large quantity of labeled graphs is difficult to obtain, which significantly limits the true success of GNNs. Although active learning has been widely studied for addressing label-sparse issues with other data types like text, images, etc., how to make it effective over graphs is an open question for research. In this paper, we present an investigation on active learning with GNNs for node classification tasks. Specifically, we propose a new method, which uses node feature propagation followed by K-Medoids clustering of the nodes for instance selection in active learning. With a theoretical bound analysis we justify the design choice of our approach. In our experiments on four benchmark datasets, the proposed method outperforms other representative baseline methods consistently and significantly.

研究の動機と目的

• グラフニューラルネットワーク（GNN）のノード分類タスクにおけるラベル付きデータの限定的問題に対処すること。
• 未熟なGNN表現に頑健で、ノイズや不正確な埋め込みに影響されにくいアクティブラーニング手法を開発すること。
• 伝搬されたノード特徴の幾何的性質に基づいて代表的なノードを選択することで、サンプル効率を向上させること。
• 分類損失と伝搬された特徴の幾何的分布を結びつける理論的裏付けのある手法を提供すること。
• 標準的なグラフベンチマークデータセットで、既存のアクティブラーニングベースラインを上回ること。

提案手法

• 事前学習済みGNNを用いてグラフ構造に沿ってノード特徴を伝搬させ、より情報豊かな表現を生成する。
• 伝搬された特徴にK-メディイドスクラスタリングを適用し、多様で代表的なノードを初期学習セットとして選択する。
• 最終GCN層の表現に基づく距離関数を用いてクラスタリングを誘導し、クラスタ中心が実際にグラフ内のノードであることを保証する。
• 理論的分析により、分類損失の上限が伝搬された特徴の幾何的分布に依存することを示す。
• 感度分析においてK-メディイドをK-センターに置き換えることで、ロバストネスと性能のトレードオフを評価する。
• FeatPropをコアセット法および不確実性ベースの手法と比較することで、複数のデータセットおよびラベル予算において有効性を検証する。

実験結果

リサーチクエスチョン

• RQ1 ノード特徴の伝搬は、GNNのアクティブラーニングにおける代表的ノードの選択を改善できるか？
• RQ2 伝搬された特徴の幾何的分布は、ラベルが少ない状況下でのGNNの一般化性能にどのように影響するか？
• RQ3 伝搬された特徴にK-メディイドスクラスタリングを適用することで、K-センターまたは他のクラスタリング戦略に比べてより優れた性能が得られるか？
• RQ4 表現の幾何的性質に基づく手法は、不確実性ベースや中心性ベースの選択よりも、グラフのアクティブラーニングで優れた性能を発揮できるか？
• RQ5 本手法は、初期モデル重みが悪い、または未熟なGNNに対してロバストであるか？

主な発見

• FeatPropは、Cora、Citeseer、PubMed、Redditの4つのベンチマークデータセットにおいて、すべてのベースライン手法（コアセット法および不確実性ベースの手法）を上回る性能を達成した。
• マクロ-F1スコアの標準偏差が2番目に低く、特にラベル予算が小さい場合の安定性が非常に高いことが示された。
• 感度分析の結果、K-メディイドをK-センターに置き換えると性能が著しく低下し、クラスタ中心として実際のノードを使用することが重要であることが裏付けられた。
• 最終GCN層からのL2距離を距離メトリックとして用いる場合、本手法よりも性能が悪く、特にラベルが限られた初期学習段階で顕著に顕われた。
• GNNが未熟であってもFeatPropは強い性能を維持しており、表現品質が低い状況に対してもロバストであることが示された。
• 特にCoraとCiteseerにおいて、コアセット法（Coreset-greedy）がCoresetMIPを上回るなど、コアセット法の仮定がグラフ構造データには適していないことが示された。