[論文レビュー] Robust MCMC Sampling with Non-Gaussian and Hierarchical Priors in High Dimensions

Victor Chen, Matthew M. Dunlop+2 more|arXiv (Cornell University)|Mar 9, 2018

Machine Learning and Algorithms被引用数 12

ひとこと要約

本稿は、非ガウス型および階層的事前分布を伴う高次元ベイesian逆問題に対して、離散化に依存しない収束速度を保証するホワイトノイズ表現を用いた、ロバストなマルコフ連鎖モンテカルロ（MCMC）サンプリング手法を開発する。この手法により、ガウス事前分布からのロバスト性が、ベゾフ、ディープガウス、および区分的定数型といった複雑な事前分布へと拡張され、無限次元設定におけるスケーラブルな推論が可能になる。

ABSTRACT

A key problem in inference for high dimensional unknowns is the design of sampling algorithms whose performance scales favourably with the dimension of the unknown. A typical setting in which these problems arise is the area of Bayesian inverse problems. In such problems, which include graph-based learning, nonparametric regression and PDE-based inversion, the unknown can be viewed as an infinite-dimensional parameter (such as a function) that has been discretised. This results in a high-dimensional space for inference. Here we study robustness of an MCMC algorithm for posterior inference; this refers to MCMC convergence rates that do not deteriorate as the discretisation becomes finer. When a Gaussian prior is employed there is a known methodology for the design of robust MCMC samplers. However, one often requires more flexibility than a Gaussian prior can provide: hierarchical models are used to enable inference of parameters underlying a Gaussian prior; or non-Gaussian priors, such as Besov, are employed to induce sparse MAP estimators; or deep Gaussian priors are used to represent other non-Gaussian phenomena; and piecewise constant functions, which are necessarily non-Gaussian, are required for classification problems. The purpose of this article is to show that the simulation technology available for Gaussian priors can be exported to such non-Gaussian priors. The underlying methodology is based on a white noise representation of the unknown. This is exploited both for robust posterior sampling and for joint inference of the function and parameters involved in the specification of its prior, in which case our framework borrows strength from the well-developed non-centred methodology for Bayesian hierarchical models. The desired robustness of the proposed sampling algorithms is supported by some theory and by extensive numerical evidence from several challenging problems.

研究の動機と目的

• ベイesian逆問題において、未知変数の次元が増加するに従い収束速度が劣化しないMCMCサンプラーの設計に取り組むこと。
• ガウス事前分布に対しては既に確立されたMCMCサンプリングのロバスト性を、ベゾフ、ディープガウス、および区分的定数型などの非ガウス型および階層的事前分布へと拡張すること。
• 非中心化パrameterization技術を活用して、階層ベイesianモデルにおける関数とハイパーパrameterの同時推論を可能にすること。
• PDEに基づく逆問題、ノンパラメトリック回帰、およびグラフベースの学習から生じる高次元的・無限次元的推論問題において、スケーラビリティとロバスト性を確保すること。
• 提案されたサンプリングフレームワークのロバスト性について、理論的および数値的根拠を提供すること。

提案手法

• 未知変数のホワイトノイズ表現を用いて、事前分布および事後分布を再パラメータライズし、次元に依存しないサンプリングを可能にする。
• 階層モデルにおける事後分布の幾何構造を安定化させ、MCMCの混合性能を向上させるために、非中心化パラメータライゼーション戦略を採用する。
• ホワイトノイズ基底を活用することで、ガウス事前分布から非ガウス事前分布への手法の適応を可能にし、一貫した事前分布の定式化を実現する。
• 不変収束を維持するMCMCアルゴリズム（例：事前条件付きクランクニコルソン法やランダムウォークメトロポリス・ハスティングス法）を設計し、離散化の増加に対してもロバストである。
• ハイパーパラメータを階層ベイesianモデルにおける未知変数として扱うことで、関数とハイパーパラメータの同時推論を統合する。
• ホワイトノイズフレームワークを用いて、事前分布の構造とサンプリングアルゴリズムを分離し、異なる事前分布タイプに対しても安定性を確保する。

実験結果

リサーチクエスチョン

• RQ1 ガウス事前分布に特化したMCMCサンプラーを、非ガウス事前分布に適用しても収束速度が劣化しないように適応可能か？
• RQ2 次元の増加に伴い収束速度が劣化しないように、階層的事前分布をロバストなMCMCサンプリングに統合する方法は何か？
• RQ3 ホワイトノイズ表現は、ベゾフや区分的定数型といった多様な非ガウス事前分布構造に対し、どの程度ロバスト性を実現できるか？
• RQ4 非中心化パラメータライゼーション戦略を非ガウス事前分布へ一般化することで、MCMCの混合性能と収束性を向上させられるか？
• RQ5 提案されたサンプリングフレームワークの次元に依存しない収束性を裏付ける理論的および数値的証拠は何か？

主な発見

• 提案されたMCMCサンプラーは、ベゾフや区分的定数関数などの非ガウス事前分布を用いても、離散化レベルに依存しないロバストな収束速度を維持する。
• ホワイトノイズ表現により、ディープガウスや階層的事前分布を含む多様な事前分布タイプに対して一貫性と安定性のあるサンプリングが可能になる。
• 非中心化パラメータライゼーションを活用することで、関数とハイパーパラメータの同時推論が安定した混合と収束を伴って達成される。
• 理論的解析により、サンプリングアルゴリズムのロバスト性が裏付けられ、収束速度が次元に対して一様に有界であることが示される。
• PDEに基づく逆問題、ノンパラメトリック回帰、およびグラフベースの学習において、広範な数値実験を通じて、離散化の増加に対しても安定した性能が確認される。
• このフレームワークにより、MCMCサンプリングのロバスト性がガウス事前分布から非ガウス事前分布へと拡張され、無限次元ベイesian問題におけるスケーラブルな推論が実現される。