[論文レビュー] Efficient Bayesian computation by proximal Markov chain Monte Carlo: when Langevin meets Moreau

Alain Durmus, Éric Moulines+1 more|arXiv (Cornell University)|Dec 22, 2016

Medical Imaging Techniques and Applications参考文献 27被引用数 8

ひとこと要約

本稿では、ラングジュアン動力学とモアウ・ヨシダ包絡線正則化を組み合わせることで、高次元で非滑らかで対数凸な画像復元モデルにおける効率的なベイズ推論を可能にする、新規なプロキシマル・マークフ・モンテカルロ（MCMC）手法、MYULAを提案する。非滑らかで対数凸な事後分布をプロキシマル作用素を用いて滑らか化することで、MYULAは高速な収束性と計算効率を達成し、Px-MALAなどの既存手法よりも精度と速度の両面で優れている。さらに、不確実性の定量化やモデル選択といった高度なベイズ解析も可能にする。

ABSTRACT

Modern imaging methods rely strongly on Bayesian inference techniques to solve challenging imaging problems. Currently, the predominant Bayesian computation approach is convex optimisation, which scales very efficiently to high dimensional image models and delivers accurate point estimation results. However, in order to perform more complex analyses, for example image uncertainty quantification or model selection, it is necessary to use more computationally intensive Bayesian computation techniques such as Markov chain Monte Carlo methods. This paper presents a new and highly efficient Markov chain Monte Carlo methodology to perform Bayesian computation for high dimensional models that are log-concave and non-smooth, a class of models that is central in imaging sciences. The methodology is based on a regularised unadjusted Langevin algorithm that exploits tools from convex analysis, namely Moreau-Yoshida envelopes and proximal operators, to construct Markov chains with favourable convergence properties. In addition to scaling efficiently to high dimensions, the method is straightforward to apply to models that are currently solved by using proximal optimisation algorithms. We provide a detailed theoretical analysis of the proposed methodology, including asymptotic and non-asymptotic convergence results with easily verifiable conditions, and explicit bounds on the convergence rates. The proposed methodology is demonstrated with four experiments related to image deconvolution and tomographic reconstruction with total-variation and $\ell_1$ priors, where we conduct a range of challenging Bayesian analyses related to uncertainty quantification, hypothesis testing, and model selection in the absence of ground truth.

研究の動機と目的

• 高次元で非滑らかなベイズ画像復元問題に対する既存のMCMC手法の計算非効率性と理論的保証の欠如を解消すること。
• 効率的な凸最適化と計算コストの高いベイズ推論の間のギャップを埋め、不確実性の定量化やモデル選択といった高度な解析を可能にすること。
• フォワードバックワードスプリットを主に用いる既存のプロキシマル最適化アルゴリズムと互換性のある汎用MCMCフレームワークを構築すること。
• モデル次元および問題パラメータに明示的な依存関係を持つ、厳密な非漸近的収束保証を提供すること。
• 全変動およびℓ₁事前分布を含む、実画像復元逆問題における本手法の有効性を実証し、不確実性の定量化やモデル比較を含む。

提案手法

• 本手法は、目標事後密度の滑らかで対数凸な近似を構築するためにモアウ・ヨシダ型正則化を用い、未調整ラングジュアンアルゴリズム（ULA）による効率的サンプリングを可能にする。
• 画像の事前分布で一般的な全変動やℓ₁ノルムのような非滑らか正則化子を扱うために、凸解析におけるプロキシマル作用素を活用する。
• 得られたアルゴリズムは、MYULA（モアウ・ヨシダ未調整ラングジュアンアルゴリズム）と呼ばれる。勾配ベースの更新を正則化されたポテンシャル関数に対して行うことで、高次元における計算の実行可能性を保証する。
• 収束性は確率的近似およびマルコフ連鎖理論の道具を用いて分析され、目標分布へのワサーレンシュタイン距離に対する非漸近的バウンドが得られる。
• 本手法は、フォワードバックワードスプリットで解ける任意のモデルに直接適用可能であり、既存の画像最適化パイプラインと広く互換性を持つ。
• 実用的なサンプリング効率を向上させるために、適応的ステップサイズ戦略が採用され、目標受容率（約45％）を維持する。

実験結果

リサーチクエスチョン

• RQ1 画像復元逆問題に生じる非滑らかで高次元かつ対数凸な事後分布から、効率的にサンプリング可能なプロキシマルMCMC手法を設計できるか？
• RQ2 モアウ・ヨシダ包絡線を、元の問題の構造を保ちつつ効率的サンプリングを可能にする形で、目標密度に正則化するためにどのように利用できるか？
• RQ3 得られたアルゴリズムの非漸近的収束特性は何か？また、次元および問題パラメータにどのように依存するか？
• RQ4 本手法は、Px-MALAなどの既存MCMC手法と比較して、挑戦的な画像復元シナリオにおいて、精度と計算効率の両面で優れているか？
• RQ5 真値が入手できない状況下でも、不確実性の定量化やモデル選択といった高度なベイズ解析を本手法が支援できるか？

主な発見

• マイクロスコピー実験において、MYULAはPx-MALAと比較して、約1桁の計算スピードアップを達成した（$ n = 10^5 $ 個のサンプル）。
• 閾値 $ \eta_\alpha $ の推定において、MYULAの近似誤差はPx-MALAと比較して0.1％未満であり、高い精度を示した。
• 不確実性の定量化により、分子位置の事後不確実性が縦方向で $ \pm 78nm $、横方向で $ \pm 125nm $ と評価され、実験精度（約80nm）とよく一致した。
• SALSAを用いてMAP推定値 $ \hat{x}_{MAP} $ は2.3秒で計算可能であり、本手法が高速最適化パイプラインと互換性を持つことを示した。
• モデル次元に明示的な依存関係を持つ非漸近的収束バウンドが導出され、実用的応用における理論的保証が得られた。
• 真値が入手できない実際のマイクロスコピーデータセットにおいて、本手法はベイズ的不確実性の定量化とモデル比較を成功裏に実行した。