[論文レビュー] Deep Gaussian Processes

Andreas Damianou, Neil D. Lawrence|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|Nov 2, 2012

Gaussian Processes and Bayesian Inference参考文献 23被引用数 272

ひとこと要約

この論文は、データの深く階層的な表現を学習するための階層的ベイジアンモデルであるディープガウス過程（DGPs）を導入する。変分推論を用いて周辺尤度を近似することで、自動的なモデル選択が可能となり、わずかなデータでも抽象的な特徴を効果的に学習できる。例えば、150個の手書き数字の例での5層の階層構造を学習した。

ABSTRACT

In this paper we introduce deep Gaussian process (GP) models. Deep GPs are a deep belief network based on Gaussian process mappings. The data is modeled as the output of a multivariate GP. The inputs to that Gaussian process are then governed by another GP. A single layer model is equivalent to a standard GP or the GP latent variable model (GP-LVM). We perform inference in the model by approximate variational marginalization. This results in a strict lower bound on the marginal likelihood of the model which we use for model selection (number of layers and nodes per layer). Deep belief networks are typically applied to relatively large data sets using stochastic gradient descent for optimization. Our fully Bayesian treatment allows for the application of deep models even when data is scarce. Model selection by our variational bound shows that a five layer hierarchy is justified even when modelling a digit data set containing only 150 examples.

研究の動機と目的

• ガウス過程に基づく完全なベイジアン深層学習フレームワークを構築し、根拠に基づいたモデル選択と不確実性の定量化を可能にする。
• ガウス過程のインダクティブバイアスと滑らかさの性質を活用して、小規模データセット上での深層モデルの学習という課題に取り組む。
• ディープGPアーキテクチャが、限られたデータでも階層的な層を経て、徐々に抽象度の高い表現を学習できることを示す。
• 潜在変数の和分が困難な場合を避けるために、変分周辺化を用いた実行可能な推論手法を提供する。
• 手書き数字分類と特徴の抽象化解析における実験的評価を通じて、ディープGPモデルの有効性を検証する。

提案手法

• 各層がガウス過程マッピングであるディープベリーフネットワークを提案。1つのGPの出力が次の層の入力として使用される。
• 潜在変数を統合するために近似変分周辺化を採用し、周辺尤度の厳密な下界が得られる。
• モデル選択の目的関数として、変分下界を用い、層の数や各層のノード数を含むパラメータを最適化する。
• 自動関連性決定（ARD）を用いて、各層における入力次元の重要度を学習し、特徴の抽象化を支援する。
• 上位層の潜在空間からのサンプリングを用いて、階層的層を経て抽象的特徴がどのように出現するかを可視化する。
• 一般化性能の評価として、潜在空間における最近傍誤差をモデル品質の代理指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 150例程度の小さなデータセットでも、ディープガウス過程は階層的なデータ表現を学習できるか？
• RQ2 周辺尤度の変分下界は、ディープGPアーキテクチャにおける深さと幅のモデル選択を効果的に導くか？
• RQ3 ディープGPモデルのより深い層が、サンプリングと最近傍解析の結果から、徐々に抽象度の高い特徴を捉えているか？
• RQ4 分類精度と特徴表現の観点から、ディープGPモデルは浅いGPモデルと比較して優れているか？
• RQ5 そのアーキテクチャの柔軟性が示唆するように、ディープGPモデルはタスク間で共有され、分離可能な表現を学習できるか、非ステーションナリティを持つデータに対しても有効か？

主な発見

• 5層のディープGPモデルは、4次元の上位層潜在空間において、最近傍分類でほぼ完璧な性能を示し、誤分類は1例のみであった。
• 層の数が増えるにつれて、周辺尤度の変分下界が増加した。これは、より深いアーキテクチャがデータによってより正当化されていることを示している。
• 単一層のGPモデルでさえ、10個の潜在次元を使用しても5例の分類誤りを生じた。これは、深さの利点を示している。
• 下位層からのサンプリングでは、局所的特徴（例：数字の閉じた円と開いた円）が観察されたが、上位層からのサンプリングではより抽象的で多様なパターンが得られた。
• ARD重みの結果、より高い層がよりグローバルで抽象的な特徴に注目していることが確認され、階層的抽象化が裏付けられた。
• わずか150例の手書き数字のデータセットにおいても、5層の階層を効果的に発見した。これは、小規模データに対する深層学習の有効性を検証するものである。