[論文レビュー] Can Graph Neural Networks Go "Online"? An Analysis of Pretraining and Inference

Lukas Galke, Iacopo Vagliano+1 more|ZBW Publication Archive (ZBW – Leibniz Information Centre for Economics)|May 15, 2019

Advanced Graph Neural Networks参考文献 15被引用数 6

ひとこと要約

本論文は、事前学習済みモデルからの微調整とスクラッチからの再学習を比較することで、予め学習済みのグラフニューラルネットワーク（GNN）が、事前学習後に未学習のノードやエッジを挿入する動的グラフに効果的に適応できるかを評価する。結果として、事前学習済みGNNは、より高いかつ安定したテスト精度を、少ない推論エポック数で達成することが明らかになった。これは、現実世界の応用におけるオンラインで動的グラフを学習する上で、事前学習が極めて重要であることを示している。

ABSTRACT

Large-scale graph data in real-world applications is often not static but dynamic, i. e., new nodes and edges appear over time. Current graph convolution approaches are promising, especially, when all the graph's nodes and edges are available during training. When unseen nodes and edges are inserted after training, it is not yet evaluated whether up-training or re-training from scratch is preferable. We construct an experimental setup, in which we insert previously unseen nodes and edges after training and conduct a limited amount of inference epochs. In this setup, we compare adapting pretrained graph neural networks against retraining from scratch. Our results show that pretrained models yield high accuracy scores on the unseen nodes and that pretraining is preferable over retraining from scratch. Our experiments represent a first step to evaluate and develop truly online variants of graph neural networks.

研究の動機と目的

• トレーニング後に新しいノードやエッジが追加される状況を想定し、グラフニューラルネットワーク（GNN）の性能が事前学習によって向上するかを調査すること。
• グラフの更新後、事前学習モデルからの微調整とスクラッチからの再学習を比較することで、GNNにおけるオンライン推論の実現可能性を評価すること。
• 未学習データにおけるラベル率が高いか低いかにかかわらず、GNNのロバストネスと一般化性能を評価すること。
• オンライン学習能力を評価するための再現可能な実験フレームワークを確立すること。
• 限られた推論更新回数の後でも、事前学習が動的グラフシナリオにおける性能と安定性を向上させることを実証的根拠として提供すること。

提案手法

• 2段階の実験設定を構築：まず、グラフのラベル付きサブセットでGNNを事前学習する。次に、以前に未観測だったノードとエッジを挿入し、限定的な数の推論エポックを実行する。
• 3つの学術ネットワークデータセット（Cora、Citeseer、Pubmed）を用い、2つの補完的インダクティブ設定に分割する：'few-many'（低ラベル率）と'many-few'（高ラベル率）。
• GCN、GAT、GraphSAGEの3つのGNNアーキテクチャに加え、MLPベースラインを用い、Adam最適化法と標準的なハイパーパrameterで学習を実施した。
• 各推論エポック後に未学習ノードのサブセットにおけるテスト精度を評価し、事前学習あり／なしのモデルを比較した（200エポック）。
• 精度分布の類似性を定量的に比較するために、Jensen-Shannon発散を用いた。
• ランダムなばらつきを低減し、統計的信頼性を確保するため、合計60の実験を実施し、各実験を100回繰り返した。

実験結果

リサーチクエスチョン

• RQ1 トレーニング後に新しいノードやエッジが追加された場合、事前学習がグラフニューラルネットワークの性能を向上させるか？
• RQ2 オンライン推論において、事前学習済みGNNとスクラッチからの再学習の間で、精度と収束速度に差は生じるか？
• RQ3 ラベル率が高いか低いかにかかわらず、事前学習の利点は一貫しているか？
• RQ4 未学習のノードやエッジの追加に対して、事前学習済みGNNの分散と収束性は、どれほど安定しているか？
• RQ5 事前学習後に限定的な数の推論エポックを実行することで、未学習ノードに対して高い精度が達成できるか？これは、オンライングラフ学習の実用的妥当性を示唆する。

主な発見

• すべてのデータセットおよびアーキテクチャにおいて、事前学習済みGNNは非事前学習モデルを一貫して上回るテスト精度を示し、100回の実験においても分散が小さい。
• 事前学習済みモデルでは、推論エポックが5〜10回程度でテスト精度が頭打ちになることが確認され、未学習データへの高速収束が示された。
• 'few-many'と'many-few'の2つの設定間の精度分布のJensen-Shannon発散は、事前学習ありの場合（0.0057–0.0115）が、なしの場合（0.0666–0.1013）よりも顕著に低いことから、設定にかかわらず一貫したパフォーマンスを示していることがわかった。
• GATは事前学習なしの場合、初期学習が最も速かったが、事前学習済みモデルは依然として高い絶対的精度と安定性を達成していた。
• MLPベースラインでさえも、GNNは構造を考慮した設計ではないにもかかわらず、事前学習済みGNNはより高い精度を達成した。
• Cora、Citeseer、Pubmedの3つのすべてのデータセットにおいて、事前学習済みモデルと非事前学習モデルの性能差が一貫しており、本研究の結果の一般化可能性が裏付けられた。