[論文レビュー] Interpretable deep Gaussian processes with moments

Chi-Ken Lu, Scott Cheng‐Hsin Yang+2 more|arXiv (Cornell University)|May 27, 2019

Gaussian Processes and Bayesian Inference参考文献 40被引用数 6

ひとこと要約

本稿では、正確な2階および4階モーメントを解析的に計算することで、深層ガウス過程（DGPs）をガウス過程として近似し、解釈可能で明示的なカーネル導出を可能にする解釈可能な深層ガウス過程を提案する。この手法により、深さに起因する非局所的・非定常的・マルチスケールの相関が特定され、表現力パラメータ χ を用いた高表現性の混沌状態が同定され、均質的および非均質的 DGP アーキテクチャにおける閉形式の有効カーネルが提供され、不確実性評価およびモデル化能力において優れた性能を示す。

ABSTRACT

Deep Gaussian Processes (DGPs) combine the expressiveness of Deep Neural Networks (DNNs) with quantified uncertainty of Gaussian Processes (GPs). Expressive power and intractable inference both result from the non-Gaussian distribution over composition functions. We propose interpretable DGP based on approximating DGP as a GP by calculating the exact moments, which additionally identify the heavy-tailed nature of some DGP distributions. Consequently, our approach admits interpretation as both NNs with specified activation functions and as a variational approximation to DGP. We identify the expressivity parameter of DGP and find non-local and non-stationary correlation from DGP composition. We provide general recipes for deriving the effective kernels for DGP of two, three, or infinitely many layers, composed of homogeneous or heterogeneous kernels. Results illustrate the expressiveness of our effective kernels through samples from the prior and inference on simulated and real data and demonstrate advantages of interpretability by analysis of analytic forms, and draw relations and equivalences across kernels.

研究の動機と目的

• 複雑で非ガウス的な階層的構造により、解釈が困難な深層ガウス過程（DGPs）における解釈性のギャップを是正すること。
• 正確なモーメント計算、特に2階および4階モーメントを用いた有効カーネルの導出により、DGPの挙動を解析的に理解すること。
• DGPの組み合わせにおける順序的・混沌的状態の遷移を支配する表現力パラメータ χ を同定・特徴化すること。
• 同様に、均質的および非均質的カーネル（同値に言えば活性化関数）を有する多層DGPにおける有効カーネルを構築する一般化された手法を提供すること。
• モーメントに基づく近似が、解釈可能でありながら標準的なGP近似よりも表現力に優れた変分推論手法を提供することを実証すること。

提案手法

• 本手法はDGP事後分布の正確な2階モーメントを計算し、全DGPを1層のGPとして近似することで、有効共分散関数の解析的導出を可能にする。
• さらに4階モーメントを計算することで、DGP分布に重たい尾を持つ特性が明らかになり、非ガウス的挙動および重たい尾を持つ予測分布の可能性が示唆される。
• 再帰的手法を用いて、深層アーキテクチャ（例：SE[SE[SE]]）の有効カーネルを導出する。中間層をGPとして扱い、階層全体を合成する。
• 本手法は任意の層数に一般化可能であり、均質的および非均質的カーネルの組み合わせをサポートし、各ケースに対して明示的な公式が導出される。
• 有効カーネルは、合成および実データにおける事前および事後予測シミュレーションを通じて検証され、優れたモデル性能を示す。
• 周辺尤度を用いたハイパーパrameter最適化により、表現力が最大に達する混沌状態（χ ≈ 1）を同定する。

実験結果

リサーチクエスチョン

• RQ1 深層ガウス過程は、表現力と不確実性評価を維持しつつ、どのようにして解釈可能にできるか？
• RQ2 2階および4階モーメントは、DGPをGPとして近似し、非ガウス的特性を明らかにする上で果たす役割は何か？
• RQ3 深さは、DGPの組み合わせにおいて非局所的・非定常的相関をどのように引き起こすか？
• RQ4 表現力パラメータ χ は、DGPモデルにおける順序的・混沌的状態の遷移を決定づける役割を果たすか？
• RQ5 モーメントに基づく近似を用いて、均質的および非均質的DGPアーキテクチャの両方に対して有効カーネルを体系的に導出可能か？

主な発見

• モーメントに基づく近似により、深層GPが解釈可能な1層GPに変換され、任意の深さおよびカーネル組み合わせにおける有効カーネルの解析的導出が可能になった。
• 4階モーメント解析により、特定のDGPモデルに重たい尾を持つ分布が存在することが判明し、DGP事後分布が標準的なGP近似では捉えきれない脂肪尾を示す可能性があることが示された。
• 表現力パラメータ χ（χ ∝ (σ/ℓ)^(L−1)）は、有効カーネルの減衰およびサンプル関数の滑らかさを支配し、χ ≈ 1近辺で周辺尤度が最大に達することが観察された。
• SE[SE[SE]]カーネルを用いた3層DGPでは、再帰的カーネル導出（式28）が直接的な2階モーメントアプローチ（式17）よりも滑らかで制約の強い関数を生成し、特にχ値が高い場合に顕著に顕在された。
• ハイパーパrameter最適化により、χ ≈ 1近辺で対数周辺尤度が著しく増加し、混沌状態がDGPモデルにおける最大表現力に対応することが確認された。
• 本手法は、標準的な変分推論よりも解釈性に優れながら、シミュレーションおよび実データの両方で優れたモデル性能を維持しており、深さと相関構造との間の明確な解析的関係が示された。