[論文レビュー] Monotonic Gaussian Process Flow

Ivan Ustyuzhaninov, Ieva Kazlauskaite+2 more|arXiv (Cornell University)|May 30, 2019

Gaussian Processes and Bayesian Inference参考文献 43被引用数 4

ひとこと要約

本稿では、確率微分方程式（SDE）を用いて確立された、単調性を保証する非パrametricなベイズモデル、Monotonic Gaussian Process Flow を提案する。SDE の単調なドリフト項を用いることで、サンプルパスが単調であることを保証し、ベンチマークにおいて既存の確率的単調モデルを上回る性能を発揮するとともに、階層モデルにおける不確実性を考慮した時系列同期を可能にする。

ABSTRACT

We propose a new framework for imposing monotonicity constraints in a Bayesian nonparametric setting based on numerical solutions of stochastic differential equations. We derive a nonparametric model of monotonic functions that allows for interpretable priors and principled quantification of hierarchical uncertainty. We demonstrate the efficacy of the proposed model by providing competitive results to other probabilistic monotonic models on a number of benchmark functions. In addition, we consider the utility of a monotonic random process as a part of a hierarchical probabilistic model; we examine the task of temporal alignment of time-series data where it is beneficial to use a monotonic random process in order to preserve the uncertainty in the temporal warpings.

研究の動機と目的

• 非パrametricなベイズモデルにおけるグローバルな単調性の強制という課題に取り組むこと。特にガウス過程において。
• サンプルパスに単調性を保証しつつ、柔軟で解釈可能な事前分布と整合的な不確実性の定量化を実現するフレームワークを開発すること。
• 特に時系列同期において単調変換が必要とされる文脈で、不確実性を考慮した時系列ワーピングを可能にすること。
• 既存の単調モデルを改善し、サンプルに正確な単調性を保証するとともに、多層構造の確率的構造における合成的不確実性を捉えること。

提案手法

• 単調なサンプルパスをほぼ確実に保証するドリフト項を備えた確率微分方程式（SDE）の解として確率過程を定式化する。
• SDE のドリフト関数をガウス過程でモデル化することで、非パラメトリックで柔軟かつ滑らかな単調関数を実現する。
• SDE 解の一意性定理を適用し、導出される過程のすべてのサンプルパスが構成上単調であることを保証する。
• 2層階層モデルに単調フローを統合する：まず単調ワーピング関数 $ g(ullet) $、次にガウス過程観測モデル $ f(ullet) $ を配置し、共有の変分推論を用いる。
• ワーピング関数と観測関数の間のクロスレイヤー相関を用いて、変分推論を実施し、合成的不確実性を保持する。
• 深層ガウス過程における最近の変分推論の進展を活用し、モデルのスケーリングを図り、複雑で非ステーションナリィなデータ分布に対処する。

実験結果

リサーチクエスチョン

• RQ1 すべてのサンプルパスが保証的に単調であるような非パラメトリックなベイズモデルを構築することは可能か？後方制約に依存しない。
• RQ2 解釈可能な事前分布と階層モデルにおける整合的な不確実性の定量化を実現しつつ、単調性をどのように強制できるか？
• RQ3 提案手法の単調フローは、標準的な回帰ベンチマークにおいて、既存の確率的単調モデルと比較してどの程度の性能を示すか？
• RQ4 単調ワーピング関数に不確実性を組み込むことで、時系列同期モデルの解釈可能性とロバスト性が向上するか？

主な発見

• 提案された Monotonic Gaussian Process Flow は、単調なドリフトを持つSDE解の理論的性質のおかげで、すべてのサンプルパスに単調性を保証する。
• ベンチマーク関数において競争力ある回帰性能を達成し、最先端の確率的単調モデルと同等またはそれを上回る。
• 階層的時系列同期において、事前分布に整合する多様な妥当なワーピング関数を捉え、点推定では捉えきれない複数の妥当なデータ同期を明らかにする。
• 変分推論におけるクロスレイヤー相関の組み込みにより、合成的不確実性が保持され、点推定ベースラインと比較してより情報量が多くロバストなモデル推定が得られる。
• 非定常的で複雑なデータ分布を単調変換によってモデル化できることを示し、時系列同期や軌道推定といった実世界の応用分野での有用性を実証した。
• このフレームワークにより、非定常的と予想される変換が既知の文脈において、一般用途の最初の層として単調関数を用いることが可能になる。