[論文レビュー] Compositional uncertainty in deep Gaussian processes

Ivan Ustyuzhaninov, Ieva Kazlauskaite+4 more|arXiv (Cornell University)|Sep 17, 2019

Gaussian Processes and Bayesian Inference参考文献 29被引用数 6

ひとこと要約

この論文は、深層ガウス過程（DGPs）における標準的な平均場変分推論が、層間で因子化された変分後確率分布が決定論的変換を強いるため、構成的不確実性が崩壊することを特定している。これを解決するために、誘導点に層間の依存関係を組み込んだ構造的変分推論を提案し、階層的関数合成における意味のある不確実性を保持できることを示している。これにより、時系列の整合性の向上といったタスクにおける不確実性の定量化と解釈可能性が向上する。

ABSTRACT

Gaussian processes (GPs) are nonparametric priors over functions. Fitting a GP implies computing a posterior distribution of functions consistent with the observed data. Similarly, deep Gaussian processes (DGPs) should allow us to compute a posterior distribution of compositions of multiple functions giving rise to the observations. However, exact Bayesian inference is intractable for DGPs, motivating the use of various approximations. We show that the application of simplifying mean-field assumptions across the hierarchy leads to the layers of a DGP collapsing to near-deterministic transformations. We argue that such an inference scheme is suboptimal, not taking advantage of the potential of the model to discover the compositional structure in the data. To address this issue, we examine alternative variational inference schemes allowing for dependencies across different layers and discuss their advantages and limitations.

研究の動機と目的

• 標準的な変分推論における深層ガウス過程における構成的不確実性崩壊の根本的原因を特定すること。
• 層間の平均場仮定が、階層的関数合成における不確実性を表現する能力を損なう決定論的中間変換を引き起こすことを示すこと。
• 誘導点の間の依存関係を明示的にモデル化する代替の変分推論スキームを提案・評価すること。
• 特に時系列の時間的整合性といった応用において、エピステム的不確実性を捉えるために層間相関が必要であることを示すこと。
• 因子化された変分近似を超えて、DGPsにおける不確実性定量化の基盤を築くこと。

提案手法

• 層間の誘導点間の依存関係をモデル化する構造的変分分布を提案し、標準的な平均場仮定を置き換える。
• 異なる層の誘導点に共同ガウス事前分布を導入し、相関のある後確率的近似を可能にすることで、構成的不確実性を保持する。
• 層間依存関係を考慮した推論手順を開発し、再パrameterizationトリックを用いて勾配ベース最適化を可能にする。
• 変分推論フレームワークを再設計し、層間で誘導点を共有できるようにし、合成を決定論的ではなく確率的変換としてモデル化する。
• 各層の関数を、データ生成プロセスに関する事前仮定を反映するカーネルを有するガウス過程としてモデル化する階層的事前分布構造を採用する。
• 合成的および実世界のタスク（時系列の整合性を含む）に対して、ベースライン手法との定性的および定量的比較を用いて、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 なぜ標準的な平均場変分推論が深層ガウス過程において構成的不確実性を崩壊させるのか？
• RQ2 誘導点における層間依存関係が、DGPにおける合成関数の後確率分布にどのように影響するか？
• RQ3 構造的変分推論は、階層的関数合成における意味のあるエピステム的不確実性をどの程度回復できるか？
• RQ4 時系列の整合性や強化学習といったタスクにおいて、構成的不確実性が実用的にどのような意味を持つのか？
• RQ5 異なる変分近似手法は、DGPの各層間で不確実性をどの程度保持できるか？

主な発見

• 標準的な平均場変分推論では、観測ノイズが存在しない場合ですら、層間の因子化仮定のため、中間層がほぼ決定論的になる。
• 構成的不確実性の崩壊は、入力にノイズがある回帰モデルと解析的に関連しており、不確実性が階層全体に分散せず、1つの層に吸収される。
• 誘導点の分布に層間相関を導入することで、合成における意味のある不確実性が回復され、複数の妥当な変換が表現可能になる。
• 共同で分布する誘導点を用いた提案された構造的変分推論は、ベースライン手法の点推定とは異なり、時系列データに対して多様で妥当な整合性を生成する。
• 実験結果から、相関のある誘導点は、特に不確実性を意識した推論を要するタスクにおいて、よりロバストで解釈可能な関数合成をもたらす。
• 本手法は、時系列の整合性タスクにおいて、ワーピング関数および潜在関数の両方の不確実性を適切に捉えており、シーケンス全体に共通の関数への崩壊を回避する。