[論文レビュー] Graph Policy Network for Transferable Active Learning on Graphs

Shengding Hu, Zheng Xiong+5 more|arXiv (Cornell University)|Jun 24, 2020

Advanced Graph Neural Networks参考文献 33被引用数 24

ひとこと要約

本稿では、GNNベースのポリシー・ネットワークを介して転送可能なクエリ戦略を学習する強化学習ベースのアクティブラーニングフレームワーク、Graph Policy Network (GPA) を提案する。アクティブラーニングをマルコフ意思決定過程（MDP）として定式化し、複数のラベル付きソースグラフ上で同時に学習することで、ラベルなしのターゲットグラフへゼロショット転送を実現し、同じドメインおよびクロスドメイン設定の両方でベースラインを著しく上回る。Redditのおもちゃグラフでは最高で90.41%のMicro-F1を達成した。

ABSTRACT

Graph neural networks (GNNs) have been attracting increasing popularity due to their simplicity and effectiveness in a variety of fields. However, a large number of labeled data is generally required to train these networks, which could be very expensive to obtain in some domains. In this paper, we study active learning for GNNs, i.e., how to efficiently label the nodes on a graph to reduce the annotation cost of training GNNs. We formulate the problem as a sequential decision process on graphs and train a GNN-based policy network with reinforcement learning to learn the optimal query strategy. By jointly training on several source graphs with full labels, we learn a transferable active learning policy which can directly generalize to unlabeled target graphs. Experimental results on multiple datasets from different domains prove the effectiveness of the learned policy in promoting active learning performance in both settings of transferring between graphs in the same domain and across different domains.

研究の動機と目的

• 医療や化学分野などデータが乏しい分野におけるGNNのトレーニングにかかる高コストなラベル付けを低減すること。
• 既存のグラフアクティブラーニング手法におけるグリーディで短期的な選択基準の限界を克服すること。
• グラフ構造データにおける長期的なパフォーマンス最適化とノード間相互作用をモデル化すること。
• 再トレーニングなしで複数のグラフに一般化可能な転送可能なアクティブラーニングポリシーを開発すること。
• ラベルなしのターゲットグラフへソースグラフから直接適用可能なゼロショットポリシー転送を可能にすること。

提案手法

• アクティブラーニングをグラフ上でマルコフ意思決定過程（MDP）として定式化し、状態を現在のグラフ状態、行動をノード選択、報酬をGNNのパフォーマンス向上として定義する。
• ノード間の相互作用とグラフ構造を明示的にモデル化するGNNベースのポリシーネットワークを採用する。
• 長期的なGNNパフォーマンスを最大化するため、代替基準のグリーディ最適化を避けるポリシー勾配強化学習を用いる。
• 完全にラベル付きの複数のソースグラフ上でポリシーネットワークを同時に学習させ、転送可能な戦略を学習する。
• 微調整なしに事前に学習したポリシーをラベルなしのターゲットグラフに直接適用し、ゼロショット転送を実現する。
• ノード間での情報伝搬を促進するため、グラフ畳み込み演算を統合し、情報の重要度推定を向上させる。

実験結果

リサーチクエスチョン

• RQ1 強化学習ベースのポリシーネットワークは、グラフ上で長期的なGNNパフォーマンスを最適化するクエリ戦略を学習できるか？
• RQ2 GNNベースのポリシーは、ノード間の相互作用を効果的にモデル化し、ノードの情報量推定を向上させられるか？
• RQ3 複数のソースグラフ上で学習したポリシーは、再トレーニングなしでラベルなしのターゲットグラフへ一般化できるか？
• RQ4 提案手法は、同じドメインおよびクロスドメイン設定の両方で、ヒューリスティックおよびベースライン手法と比較してどのように性能を発揮するか？
• RQ5 ポリシーはクエリ選択の過程でグラフの多様な領域を探索し、クラスバランスを維持するように学習しているか？

主な発見

• GPAはRedditのおもちゃグラフで90.41%のMicro-F1スコアを達成し、AGE（86.35）および中心性ベースの手法（84.13）を上回った。
• ベースラインが高次数ノードにのみ注目するのに対し、ポリシーはノード10、13、15のような低頻度領域も効果的に探索した。
• GPAはクエリ選択の過程でクラスを交互に切り替え、同じクラスからの連続選択を回避するよう学習した。
• 本手法はドメインをまたいで強いゼロショット転送性能を示し、同じドメインおよびクロスドメインの両方のアクティブラーニング設定で一貫した向上を示した。
• 微調整なしに未観測のグラフへも効果的に一般化でき、その転送性とロバスト性を確認した。
• 薬剤発見や医療分野など、ラベル付けが高コストで時間がかかる低リソース分野において、専門家によるラベル付けへの依存を低減した。