[論文レビュー] Dimension-Robust MCMC in Bayesian Inverse Problems

Victor Chen, Matthew M. Dunlop+2 more|arXiv (Cornell University)|Mar 9, 2018

Gaussian Processes and Bayesian Inference参考文献 46被引用数 19

ひとこと要約

本稿では、非中心的パrameterisationと事前分布に適したCrank-Nicolsonサンプリング（pCN）を組み合わせることで、非ガウス型または階層的事前分布を伴うベイesian逆問題に対して次元に頑健なMCMCフレームワークを提案する。この手法は、高次元および無限次元の潜在状態においても安定した性能を発揮し、最小限のラベル付きデータで半教師付き分類における効率的な不確実性評価とアクティブラーニングを可能にする。

ABSTRACT

The methodology developed in this article is motivated by a wide range of prediction and uncertainty quantification problems that arise in Statistics, Machine Learning and Applied Mathematics, such as non-parametric regression, multi-class classification and inversion of partial differential equations. One popular formulation of such problems is as Bayesian inverse problems, where a prior distribution is used to regularize inference on a high-dimensional latent state, typically a function or a field. It is common that such priors are non-Gaussian, for example piecewise-constant or heavy-tailed, and/or hierarchical, in the sense of involving a further set of low-dimensional parameters, which, for example, control the scale or smoothness of the latent state. In this formulation prediction and uncertainty quantification relies on efficient exploration of the posterior distribution of latent states and parameters. This article introduces a framework for efficient MCMC sampling in Bayesian inverse problems that capitalizes upon two fundamental ideas in MCMC, non-centred parameterisations of hierarchical models and dimension-robust samplers for latent Gaussian processes. Using a range of diverse applications we showcase that the proposed framework is dimension-robust, that is, the efficiency of the MCMC sampling does not deteriorate as the dimension of the latent state gets higher. We showcase the full potential of the machinery we develop in the article in semi-supervised multi-class classification, where our sampling algorithm is used within an active learning framework to guide the selection of input data to manually label in order to achieve high predictive accuracy with a minimal number of labelled data.

研究の動機と目的

• 非ガウス型または階層的事前分布を伴うベイesian逆問題における効率的な事後分布サンプリングの課題に対処すること。
• 潜在状態の次元が増加するに従いMCMCの効率が低下するのを克服すること。
• 高次元推論タスクにおける予測や意思決定のための頑健な不確実性評価を可能にすること。
• 非パラメトリック回帰、PDEの逆問題、半教師付き分類を含む多様な分野に適用可能なプラグアンドプレイ型MCMCフレームワークを開発すること。
• 事後分布の不確実性を活用して、ラベル付けに最適なデータを選択するアクティブラーニングを支援すること。

提案手法

• 潜在状態とハイパーパrameterを分離することで、階層モデルにおける混合性を向上させるために非中心的パrameterisationを採用する。
• 潜在ガウス事後分布からの効率的サンプリングを保証するため、事前分布に適したCrank-Nicolson（pCN）アルゴリズムを適用する。
• 事後分布を補助変数とハイパーパrameterの同時分布に変換し、反復的Gibbsサンプリングを可能にする。
• 白色雑音変換を用いて非中心的再パラメータ化を定義することで、無限次元関数空間への応用を可能にする。
• 潜在状態の更新にpCNを、ハイパーパrameterの更新に条件付き更新を組み合わせ、統合的なMCMCサンプラーを構築する。
• 事後分布の不確実性を活用して、ラベル付けに最適な未ラベルデータを自動選択することで、アクティブラーニングパイプラインに統合する。

実験結果

リサーチクエスチョン

• RQ1 潜在状態の次元が増加するに従い、ベイesian逆問題におけるMCMCサンプリングの効率性が維持されるか。
• RQ2 非中心的パrameterisationは、非ガウス型事前分布を伴う階層モデルにおいて、混合性と収束性をどのように向上させるか。
• RQ3 提案手法は、高次元設定において、標準的なランダムウォークメトロポリスアルゴリズムをどの程度上回るか。
• RQ4 事後分布からの不確実性評価は、半教師付き分類における効果的なアクティブラーニングを導くことができるか。
• RQ5 高次元または無限次元空間において、調整パrameterの選択に頑健な性能を示すか。

主な発見

• 提案されたMCMCフレームワークは次元に頑健な性能を達成しており、潜在状態の離散化レベルが増加してもサンプリング効率が安定している。
• 半教師付き多クラス分類において、最も不確実性の高い100枚の画像をラベル付けしたことで、平均不確実性が0.135から0.100に低下し、効果的なアクティブラーニングが実証された。
• 最も確実な画像（U(x_j) = 0）をラベル付けした場合、平均不確実性は0.128にしか低下せず、不確実性に基づく選択の価値が明確に示された。
• 追加で300枚の不確実性の高い画像をラベル付けした後、平均不確実性は0.070に低下し、最小不確実性バインに属する画像数が著しく増加した。
• 高次元設定において、標準的なランダムウォークメトロポリスアルゴリズムを上回り、必要に応じて特化された手法と同等の性能を達成した。
• 受容確率が0または1から著しく離れている限り、調整パrameterの選択に頑健であることが示され、実用性が裏付けられた。