[論文レビュー] Deep Gaussian Processes: A Survey

Kalvik Jakkala|arXiv (Cornell University)|Jun 21, 2021

Gaussian Processes and Bayesian Inference参考文献 36被引用数 14

ひとこと要約

本サーベイは、深層ガウス過程（DGPs）の包括的な概要を提供し、その動機づけ、数学的基盤、限界、および過去10年間における主な進展を詳細に説明している。スパースGPやベイジアンGPLVMといったコアな技術を統合し、主要なDGPアプローチを評価するとともに、スケーラビリティ、不確実性推定、複雑な関数空間のモデリングにおける未解決の課題を特定している。

ABSTRACT

Gaussian processes are one of the dominant approaches in Bayesian learning. Although the approach has been applied to numerous problems with great success, it has a few fundamental limitations. Multiple methods in literature have addressed these limitations. However, there has not been a comprehensive survey of the topics as of yet. Most existing surveys focus on only one particular variant of Gaussian processes and their derivatives. This survey details the core motivations for using Gaussian processes, their mathematical formulations, limitations, and research themes that have flourished over the years to address said limitations. Furthermore, one particular research area is Deep Gaussian Processes (DGPs), it has improved substantially in the past decade. The significant publications that advanced the forefront of this research area are outlined in their survey. Finally, a brief discussion on open problems and research directions for future work is presented at the end.

研究の動機と目的

• 深層ガウス過程（DGPs）を、深層学習のベイジアン代替手法として統合的かつ詳細にサーベイすること。
• 標準的なガウス過程の核心的な限界、すなわち計算コスト、カーネルの制限、スケーラビリティの問題を特定・分析すること。
• スタックされたGP層を通じて階層的特徴抽出と不確実性評価をどのように実現するかを検討すること。
• スパースGP、ベイジアンGPLVM、ニューラルプロセスに基づく近似法を含む、最新のDGP手法を評価すること。
• ImageNetのような実世界のデータセットに対して、モデルのスケーラビリティ、関数空間モデリング、不確実性推定における未解決の問題を強調すること。

提案手法

• ベイジアンフレームワーク内で複雑な非線形特徴階層をモデル化するため、ガウス過程を階層的にスタックする手法を採用する。
• 特にニストローム法を用いたスパース近似技術を適用し、DGPsにおける計算コストと記憶コストを低減する。
• 変分推論を用いて、DGPsにおける誘導点および潜在関数の事後分布を近似する。
• 不確実性の非線形変換を介した伝播を可能にする基盤として、ベイジアンGPLVMを統合する。
• ガーネロらの研究に代表される、従来のカーネルを超えた関数空間をモデル化するためのDNNベースの確率過程の近似をレビューする。
• エネルギーに基づくモデルやハイパーネットワークを、DGPの関数空間の表現力拡張の可能性として検討する。

実験結果

リサーチクエスチョン

• RQ1 深層ガウス過程は、複雑で階層的なデータをモデリングするにあたり、標準的なガウス過程に比べてどのように改善をもたらすか？
• RQ2 従来のGPおよびDGPアプローチにおける主な計算的・統計的限界は何か？
• RQ3 スパースGPやベイジアンGPLVMといった現代のDGP手法は、不確実性評価と階層的特徴抽出をどのように実現するか？
• RQ4 DGPモデルは、ImageNetのような大規模かつ構造化されたデータセットにどの程度スケーリング可能か？
• RQ5 カーネルベースやDNNベースの関数空間モデリングを超えて、DGPの表現力を拡張するための最も有望な今後の研究方向性は何か？

主な発見

• 深層ガウス過程は、不確実性推定、因果モデリング、ドメイン知識の統合という点で、頻度主義的深層学習の主な欠陥を補完する原則的で整合性のあるベイジアン手法を提供する。
• 特にニストローム法を用いたスパースGP近似は、予測性能を維持しつつ、計算コストを顕著に低減する。
• ベイジアンGPLVMは非線形変換を介した不確実性の伝播を可能にし、不確実性に配慮した深層確率的モデルの基盤を提供する。
• 進展は見られるものの、大多数のDGP手法はまだ浅いモデル（最大10層まで）での評価にとどまっており、ImageNetで使用されるような深層アーキテクチャへのスケーリングは未検証のままである。
• タスク固有のニューラルネットワークや固定カーネル関数に依存するDGP手法は、表現力と一般化性能に限界があるため、より柔軟な関数空間モデリングの必要性が示唆される。
• エネルギーに基づくプロセスやハイパーネットワークといった新興アプローチは、DGPの能力拡張の可能性を示唆しているが、計算コストが高く、実用的導入には至っていない。