[論文レビュー] Graph Convolutional Gaussian Processes

Ian D. Walker, Ben Glocker|arXiv (Cornell University)|May 14, 2019

Gaussian Processes and Bayesian Inference被引用数 9

ひとこと要約

この論文では、ガウス過程の事前分布を用いて非ユークリッド的グラフへ畳み込みの誘導的バイアスを拡張する、ベイジアン非パラメトリック手法であるグラフ畳み込みガウス過程（GCGP）を提案する。局所的なパッチ応答をガウス過程でモデル化し、グラフ全体にわたって集約することで、次元削減を実現しつつ高い表現力を持つ。画像およびメッシュ分類タスクにおいて、小規模データセットでディープラーニングのベースラインを上回り、不確実性推定を提供する。

ABSTRACT

We propose a novel Bayesian nonparametric method to learn translation-invariant relationships on non-Euclidean domains. The resulting graph convolutional Gaussian processes can be applied to problems in machine learning for which the input observations are functions with domains on general graphs. The structure of these models allows for high dimensional inputs while retaining expressibility, as is the case with convolutional neural networks. We present applications of graph convolutional Gaussian processes to images and triangular meshes, demonstrating their versatility and effectiveness, comparing favorably to existing methods, despite being relatively simple models.

研究の動機と目的

• 一般のグラフ上で変換不変な関係を学ぶベイジアン非パラメトリック手法を開発し、畳み込みの誘導的バイアスをユークリッド領域を超えて拡張すること。
• 標準的なガウス過程における次元の呪いを克服するため、パッチベースの分解によって局所的グラフ近傍に焦点を当てる。
• 画像、三角メッシュ、ソーシャルネットワークなどの非ユークリッド的グラフ上に定義された高次元入力における不確実性を伴う学習を可能にすること。
• 限られた学習データでも優れた性能を発揮する、原理的かつスケーラブルなディープグラフニューラルネットワークの代替手法を提供すること。
• 可変な構造と頂点数を持つグラフ上での階層的かつ柔軟なGPモデルの基盤を築くこと。

提案手法

• 入力信号を局所的グラフ近傍（パッチ）に分解し、各パッチの応答を共有のガウス過程事前分布でモデル化する。
• 全関数はパッチ応答の和として定義され、加法的GP構造により全入力にGP事前分布を誘導する。
• パッチ応答関数 $ g $ には定常カーネル（例：RBF）を用い、グラフ全体で変換不変性を確保する。
• 変分推論を用いてモデルを学習し、スケーラブルな推論を可能にするためにGP事後分布の構造的近似を採用する。
• 本手法は、ユークリッドグリッド（画像）および非ユークリッド的グラフ（三角メッシュ、スーパーピクセルグラフ）の両方へ適用可能であり、分野を問わず一貫した性能を示す。
• 各グラフの頂点数は固定であると仮定しており、これにより一貫した入力次元を維持しつつ、エッジ構造の可変性を許容する。

実験結果

リサーチクエスチョン

• RQ1 ガウス過程を用いることで、ユークリッド領域（例：画像）から一般の非ユークリッド的グラフへ、畳み込みの誘導的バイアスを効果的に拡張できるか？
• RQ2 パッチ集約による次元削減を実現しつつ、GPベースのモデルが表現力を維持できるか？
• RQ3 GPの不確実性と畳み込みの不変性の組み合わせが、ディープラーニングのベースラインと比較して、小規模データセットでの一般化性能を向上させるか？
• RQ4 3次元メッシュやスーパーピクセルグラフといった、標準的なCNNが適用できない非ユークリッド的領域でも、本モデルは良好な性能を発揮するか？
• RQ5 頂点数が可変なグラフを扱えるように本モデルを拡張可能か？また、現在の固定頂点数フレームワークにおける制限は何か？

主な発見

• GCGPはMNISTスーパーピクセルおよび3次元メッシュデータセットで競争力ある分類精度を達成し、限られた学習データのため過学習を起こす可能性のあるMoNetなどのディープラーニングモデルを上回った。
• 2500頂点のメッシュ分類タスクにおいて、GCGPは1層のMoNet（33.33％の正確度）よりも顕著に優れた性能を示した。
• 低解像度下で視覚的に類似した個体（例：MPI Faustの被験者4番と8番）を常に混同する傾向にあり、性能は局所的特徴の類似性に制限されていることが示された。
• 浅く広いモデルであるにもかかわらず、GCGPは小規模データセットで強力な一般化性能を示しており、効果的な誘導的バイアスとデータ効率性が裏付けられた。
• GCGPのベイジアン性により、標準的なディープラーニングモデルに比べて意味のある不確実性推定が可能であることが特徴である。
• 本手法は、特にディープGPフレームワークと組み合わせることで、将来的な階層的モデルの基盤として有望である。