[論文レビュー] Bayesian Semi-supervised Learning with Graph Gaussian Processes

Yin Cheng Ng, Nicolò Colombo+1 more|arXiv (Cornell University)|Sep 12, 2018

Gaussian Processes and Bayesian Inference参考文献 40被引用数 20

ひとこと要約

本稿では、グラフ構造とノード特徴量を活用して、最小限のラベル付きデータで最先端の性能を達成する、グラフガウス過程（GGP）を用いたベイジアン半教師あり学習モデルを提案する。この手法は、インダクションポイントを用いた変分推論を採用することで、検証に基づく早期停止を必要とせず、スケーラブルな学習を実現し、ラベルが少ない状況におけるアクティブラーニングで、グラフニューラルネットワークやラベル伝搬法を上回る性能を発揮する。

ABSTRACT

We propose a data-efficient Gaussian process-based Bayesian approach to the semi-supervised learning problem on graphs. The proposed model shows extremely competitive performance when compared to the state-of-the-art graph neural networks on semi-supervised learning benchmark experiments, and outperforms the neural networks in active learning experiments where labels are scarce. Furthermore, the model does not require a validation data set for early stopping to control over-fitting. Our model can be viewed as an instance of empirical distribution regression weighted locally by network connectivity. We further motivate the intuitive construction of the model with a Bayesian linear model interpretation where the node features are filtered by an operator related to the graph Laplacian. The method can be easily implemented by adapting off-the-shelf scalable variational inference algorithms for Gaussian processes.

研究の動機と目的

• グラフ構造データに対するデータ効率的でベイジアンな半教師あり学習モデルの開発を目的とする。
• グラフベースの学習で一般的に見られるラベルが少ない状況における過学習の問題に対処することを目的とする。
• バリデーションセットを用いた早期停止の必要性を排除するため、変分下界を正則化に活用することを目的とする。
• 最適な獲得関数を用いた情報量の多いノードの選択により、アクティブラーニングにおける一般化性能の向上を目的とする。
• 不確実性のキャリブレーションとサンプル効率に優れた、深層グラフニューラルネットワークの原理的で代替可能なベイジアン手法の提供を目的とする。

提案手法

• モデルはノード関数にガウス過程の事前分布を用い、関係性のインダクティブバイアスを組み込むためにグラフラプラシアンに基づくフィルタリングを有するカーネル関数を採用する。
• 推論のスケーラビリティを確保するため、変分インダクションポイント近似を適用し、大規模グラフへの応用を可能にする。
• 予測の平均は、ラベル付きノード特徴量の重み付き平均として計算され、重みはグラフの接続性とカーネル類似度によって決定される。
• この手法は、ネットワーク構造による局所的重み付けを伴う経験的分布回帰として解釈され、カーネル平均埋め込み法と関連づけられる。
• アクティブラーニングにおける次に情報量の多いノードを選択するために、期待改善（SOPT）に基づく獲得関数が用いられる。
• ADAM最適化を用いて、ハイパーパramータとインダクションポイントを同時に最適化することで、エンドツーエンドの学習が実現される。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンガウス過程モデルは、半教師ありノード分類において、グラフニューラルネットワークと同等の性能を達成できるか？
• RQ2 提案されたグラフガウス過程モデルは、非常に少ないラベル例を用いたアクティブラーニングでどのように性能を発揮するか？
• RQ3 バリデーションセットを用いた早期停止が不要な状況でも、モデルは過学習を回避できるか？
• RQ4 グラフラプラシアンは、モデルのインダクティブバイアスにどのように寄与しているか？
• RQ5 データが限られる状況下で、モデルの性能はラベル伝搬法やGCNと比べてどうなるか？

主な発見

• アクティブラーニングにおいてSOPT獲得関数を用いた場合、CoraではAUC 0.733 ± 0.001、CiteseerではAUC 0.678 ± 0.002を達成し、GCNおよびラベル伝搬法を上回った。
• 初期ラベル付きノードを1つに限定した場合、50までのすべてのラベル数において、GGPはGCNおよびラベル伝搬法よりも高いテスト精度を示した。
• 異なるランダム初期化における性能の分散が著しく小さく、初期化に依存しない頑健性を示した。
• バリデーションセットを用いた早期停止が不要であった。これは、変分下界が過学習を内因的に正則化していたためである。
• 学習曲線の誤差棒が非常に小さく、SOPT獲得関数は初期ラベル付きノードの選択に敏感でなかった。
• ランダムな獲得関数を用いた場合、GGPの性能はGCNよりも安定しており、データシャッフルに対してより高い本質的頑健性を示した。