[論文レビュー] Information Gain Propagation: a new way to Graph Active Learning with Soft Labels

Wentao Zhang, Yexin Wang+6 more|arXiv (Cornell University)|Mar 2, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

本稿では、情報利得伝播（IGP）と呼ばれる、柔軟なクエリ（専門家が予測ラベルを確認するのみで、正確なクラスを割り当てない）とソフトラベルを用いることで、ラベル付けコストを低減する、グラフアドティブラーニングの新規フレームワークを提案する。情報利得伝播を最大化することで、特に大クラス問題において、最先端のGNNベースのアドティブラーニング手法を顕著に上回る精度と効率性を達成する。

ABSTRACT

Graph Neural Networks (GNNs) have achieved great success in various tasks, but their performance highly relies on a large number of labeled nodes, which typically requires considerable human effort. GNN-based Active Learning (AL) methods are proposed to improve the labeling efficiency by selecting the most valuable nodes to label. Existing methods assume an oracle can correctly categorize all the selected nodes and thus just focus on the node selection. However, such an exact labeling task is costly, especially when the categorization is out of the domain of individual expert (oracle). The paper goes further, presenting a soft-label approach to AL on GNNs. Our key innovations are: i) relaxed queries where a domain expert (oracle) only judges the correctness of the predicted labels (a binary question) rather than identifying the exact class (a multi-class question), and ii) new criteria of maximizing information gain propagation for active learner with relaxed queries and soft labels. Empirical studies on public datasets demonstrate that our method significantly outperforms the state-of-the-art GNN-based AL methods in terms of both accuracy and labeling cost.

研究の動機と目的

• GNNの学習にかかる高コストな正確なハードラベルに依存を減らすことで、GNNのトレーニングにおける高コストなラベル付けを軽減すること。
• 専門家が正確なクラスを割り当てるのではなく、モデルの予測ラベルを確認するだけの「柔軟なクエリ」をサポートする、GNN向けの新しいアドティブラーニングパラダイムを設計すること。
• ソフトラベルと柔軟なクエリの下で、グラフ全体にわたる情報利得伝播を明示的に最大化するノード選択基準を考案すること。
• 提案手法が異なるGNNアーキテクチャおよびグラフデータセットに対して一般化できることを示すこと。また、精度とラベル付け効率の両面で既存のベースラインを上回ること。

提案手法

• オラクルに真のクラスを特定させる代わりに、モデルの上位-p予測クラスを確認する「柔軟なクエリ」を導入し、多クラス分類問題を二値分類問題に変換する。
• 予測ラベルが誤りの場合、残りのクラスにわたってモデルのソフトマックス出力を再正規化するソフトラベル構築手法を提案し、確率的信頼度を保持する。
• 期待される情報利得伝播（IGP）に基づく新しいノード選択基準を開発し、隣接する未ラベル付きノードの不確実性を最も大きく低減するノードを選択する。
• 各ラベル付きノードの影響度を評価し、その周辺の不確実性低減に与える寄与度を重み付けすることで、高い影響を持つノードを優先順位に置く。
• GNNのファインチューニング時にソフトラベルを活用することで、モデルの一般化性能を向上させる情報豊富な学習を実装する。
• 高次数ノードへのバイアスを防ぐために、ソフトラベルを正規化し、公平かつ効果的な情報伝播を確保する。

実験結果

リサーチクエスチョン

• RQ1 専門家がモデルの予測を確認するだけの柔軟なクエリを用いることで、GNNベースのアドティブラーニングにおけるラベル付け負担を顕著に軽減できるか？
• RQ2 グラフ全体にわたる情報利得伝播を最大化することで、単一ノードの不確実性サンプリングよりも優れたモデル性能が得られるか？
• RQ3 ハードラベルと比較して、ソフトラベルの使用がモデルの精度とラベル付け効率に与える影響は何か？
• RQ4 提案手法IGPは、異なるGNNアーキテクチャやグラフデータセットに対してどの程度一般化できるか？
• RQ5 IGPフレームワークのどの構成要素（例：情報豊富な選択、ソフトラベルの正規化）が性能に最も重要か？

主な発見

• PubMedデータセットにおいて、IGPは最先端のGNNベースのアドティブラーニング手法を1.8%以上上回るテスト精度を達成し、顕著な性能向上を示した。
• Coraデータセットでは、IGPは86.4%（±0.6）のテスト精度を達成し、情報利得伝播の考慮がない場合のベースラインより2.5%高い。
• アブレーションスタディの結果、情報豊富な学習や選択を除去すると性能低下が最も顕著（PubMedでは最大2.9%）となり、これらがモデル性能に不可欠であることが確認された。
• MVGRLを含むさまざまなGNNアーキテクチャにおいても、IGPはALG や GRAIN などのベースラインを一貫して上回る性能を示し、良好な一般化性能を示した。
• 正規化されたソフトラベルと影響度の重み付けは、性能に不可欠である。これらを除去すると、特に高次数ノードへのバイアスが顕著に顕在され、精度が著しく低下した。
• 可視化結果から、IGPはグラフ全体にわたり、ソフトラベルおよびハードラベル付きノードの分布がよりバランスよく配置されていることが分かった。これにより、不確実性の広範な低減とより良い一般化性能が実現された。