[論文レビュー] Constraining the Dynamics of Deep Probabilistic Models

Marco Lorenzi, Maurizio Filippone|arXiv (Cornell University)|Feb 15, 2018

Gaussian Processes and Bayesian Inference参考文献 32被引用数 15

ひとこと要約

本稿では、生成過程に制約を埋め込み、確率的変分ベイズ推論を用いてエンドツーエンドの不確実性評価を可能にする、柔軟でスケーラブルなフレームワークを提案する。このフレームワークは、深層確率的モデル、特にディープガウス過程（DGP）に対して、ソフトな等式制約および不等式制約を課すものであり、データサイズおよび制約数に対して線形スケーラビリティを達成し、ODEパラメータ推定やカウントデータの単調回帰といった制約付きモデリングタスクで最先端の性能を発揮する。

ABSTRACT

We introduce a novel generative formulation of deep probabilistic models implementing "soft" constraints on their function dynamics. In particular, we develop a flexible methodological framework where the modeled functions and derivatives of a given order are subject to inequality or equality constraints. We then characterize the posterior distribution over model and constraint parameters through stochastic variational inference. As a result, the proposed approach allows for accurate and scalable uncertainty quantification on the predictions and on all parameters. We demonstrate the application of equality constraints in the challenging problem of parameter inference in ordinary differential equation models, while we showcase the application of inequality constraints on the problem of monotonic regression of count data. The proposed approach is extensively tested in several experimental settings, leading to highly competitive results in challenging modeling applications, while offering high expressiveness, flexibility and scalability.

研究の動機と目的

• 深層確率的モデルにおける関数ダイナミクスに、等式および不等式制約（関数およびその導関数に対する制約を含む）を柔軟かつ一般に課すための新しい手法の開発。
• このような制約下でも、モデルパラメータおよび予測の正確でスケーラブルな不確実性評価を可能にする。
• 正確な推論が計算的に非現実的であるため、ODEモデルにおけるパラメータ推定の課題に対処する。
• 生物医学的および疫学的モデリングにおいて一般的な要件であるカウントデータの単調回帰を支援する。
• 深層確率的モデルおよび現代の最適化ツールと互換性のある、スケーラブルでエンドツーエンドの推論フレームワークを提供する。

提案手法

• 制約を生成過程にソフトペナルティとして組み込み、違反は許容しつつも確率的定式化によりペナルティを与える。
• 確率的変分ベイズ推論を用いて、モデルおよび制約パラメータの事後分布を近似し、スケーラブルな学習を実現する。
• 制約付き設定における変分ベイズ推論を支援するため、モデル証拠の下界を導出する。
• 自動微分を用いて効率的な勾配計算を実現し、実装およびGPU加速を容易にする。
• 合成GP構造を用いたディープガウス過程（DGPs）にこのフレームワークを適用するが、確率的DNNに対しても拡張可能である。
• 仮想入力を用いて制約を実装し、期待されるダイナミクス（例：ODE解や単調性）からの逸脱をモデルがペナルティ付ける。

実験結果

リサーチクエスチョン

• RQ1 関数ダイナミクスに対するソフト制約を、深層確率的モデルに効果的に埋め込むことで、モデリング精度および解釈可能性を向上させることができるか？
• RQ2 複雑な制約を深層モデルに適用する際、予測およびパラメータの不確実性を信頼性高く評価する方法は何か？
• RQ3 提案手法は、データおよび制約の数に対して線形にスケーリングしつつ、ODEパラメータ推定で競争力のある性能を達成できるか？
• RQ4 カウントデータ回帰において、単調性などの不等式制約を深層確率的モデルで効果的に強制できるか？
• RQ5 スケーラビリティおよびモデリング精度の観点から、提案手法は最先端の手法と比較して優れているか？

主な発見

• 2層のディープガウス過程は、非定常性をモデル化できる能力のおかげで、大規模なサンプルサイズ下で浅いGPやMatérn共分散GPよりも、データ適合性およびパラメータ推定の両面で優れた性能を発揮する。
• ODEパラメータ推定において、提案手法は最先端の手法と同等の結果を達成するとともに、パラメータおよび予測の両方における完全な不確実性評価を可能にする。
• カウントデータの単調回帰において、制約付きDGPモデルは単調性を効果的に強制し、導関数の分布が正の領域に集中しており、専用の単調GP手法の結果と一致する。
• 本手法は観測数および制約数に対して線形にスケーリングされ、自動微分を介した効率的なGPU加速推論をサポートする。
• 本フレームワークは、モデルパラメータおよび制約パラメータの両方についてエンドツーエンドの事後分布推論を可能にし、生物学的・医学的分野の実世界応用において不可欠な意味のある不確実性推定を提供する。
• フィッツフーリュ・ナグumo方程式のベンチマークにおいて、低サンプルサイズおよび高サンプルサイズの両方で、提案手法が複雑な非定常ダイナミクスを捉える点で浅いモデルを上回ることを実証した。