[論文レビュー] How Deep Are Deep Gaussian Processes?

Matthew M. Dunlop, Mark Girolami+2 more|arXiv (Cornell University)|Nov 30, 2017

Gaussian Processes and Bayesian Inference参考文献 22被引用数 5

ひとこと要約

この論文は、層間を条件付きガウス分布およびマルコフ連鎖としてモデル化することで、深層ガウス過程（DGP）の統一的な枠組みを提示する。エルゴード性または自明な解への収束が有効な深さを制限することを確立し、混合時間や退化のため、より深いDGPは利得が次第に小さくなることを示唆する。これは、非エルゴード構造を明示的に設計しない限り、実用的な推論の利点は2〜3層に限定されることを意味する。

ABSTRACT

Recent research has shown the potential utility of Deep Gaussian Processes. These deep structures are probability distributions, designed through hierarchical construction, which are conditionally Gaussian. In this paper, the current published body of work is placed in a common framework and, through recursion, several classes of deep Gaussian processes are defined. The resulting samples generated from a deep Gaussian process have a Markovian structure with respect to the depth parameter, and the effective depth of the resulting process is interpreted in terms of the ergodicity, or non-ergodicity, of the resulting Markov chain. For the classes of deep Gaussian processes introduced, we provide results concerning their ergodicity and hence their effective depth. We also demonstrate how these processes may be used for inference; in particular we show how a Metropolis-within-Gibbs construction across the levels of the hierarchy can be used to derive sampling tools which are robust to the level of resolution used to represent the functions on a computer. For illustration, we consider the effect of ergodicity in some simple numerical examples.

研究の動機と目的

• 異なる深層ガウス過程の構築法を、共通の再帰的かつ条件付きガウス分布の枠組みで統一すること。
• 基礎となるマルコフ連鎖のエルゴード性の性質を用いて、DGPの有効な深さを分析すること。
• 関数空間におけるメトロポリス・インサイド・ギブスサンプリングを用いて、離散化分解能に依存しない頑健な推論ツールを開発すること。
• 理論的に深い構造が可能であるにもかかわらず、実際の応用でなぜ2〜3層の浅いDGPが一般的に有効であるのかを明確にすること。

提案手法

• 各層 $ u_{n+1} \mid u_n \sim \mathcal{N}(m(u_n), C(u_n)) $ としてDGPをマルコフ連鎖としてモデル化し、平均および共分散作用素が直前の層に依存するように定義する。
• 再帰的定義を用いて、合成ベース、畳み込みベース、非 stationarity 共分散、および非 stationarity 共分散作用素の4つのDGPクラスを定義する。
• 遷移核のスペクトル特性を用いて、離散化されたDGPのエルゴード性を分析し、混合時間と有効な深さの関係を結びつける。
• 関数空間におけるメトロポリス・インサイド・ギブスサンプリングを適用し、離散化分解能に依存しない頑健な推論を可能にする。
• MCMCの混合性と安定性を向上させるために、非中心化パrameterizationを用いる。
• 弱収束定理を用いて漸近的挙動を分析し、反復処理によってゼロまたは無限大に収束することを示す。

実験結果

リサーチクエスチョン

• RQ1 深層ガウス過程の有効な深さとは何か？ そして、そのマルコフ構造のエルゴード性によってどのように決定されるか？
• RQ2 理論的にはより深いアーキテクチャが可能であるにもかかわらず、実用的なDGP応用ではなぜ通常2〜3層にとどまるのか？
• RQ3 階層的ガウス的条件付き分布に基づいて、多様なDGP構築法を統一する共通の枠組みを構築可能か？
• RQ4 共分散作用素や平均関数の選択が、DGPの安定性および表現力にどのように影響するか？
• RQ5 エルゴード性および自明な解への収束が、ベイズ推論における深層事前分布の有用性をどの程度制限するか？

主な発見

• 定理4は、合成ベースのDGPが十分に深い場合、定数関数に収束することを示しており、これは幅広い層や入力依存変換を用いることで回避可能である。
• 定理8は、非 stationarity 共分散関数を有する離散化DGPがエルゴード的であることを確立しており、混合時間を超える追加の層には恩恵がないことを示唆する。
• 定理14は、非 stationarity 共分散作用素のクラスについて関数空間上でも同様のエルゴード性を証明し、深さ制限を強化する。
• 定理16は、繰り返し畳み込みDGPが層数が増加するにつれ弱収束的にゼロに収束するか発散することを示し、推論における有用性に制限をもたらす。
• 数値実験により、データ品質が最適な深さを決定することが確認された。高品質なデータはより多くの層をもたらすが、低品質なデータでは有効な深さが制限される。
• 事前分布 $ u_n $ の分析は、事後分布 $ u_n \mid y $ に直接拡張されないため、実用的な層数は事前分布の深さではなく、データの情報量によって決定される。