[論文レビュー] Accelerating proximal Markov chain Monte Carlo by using an explicit stabilised method

Luis Felipe Vargas, Marcelo Pereyra+1 more|Edinburgh Research Explorer|Aug 23, 2019

Medical Imaging Techniques and Applications参考文献 51被引用数 5

ひとこと要約

本稿では、Moreau-Yosida正則化されたランジュバン拡散に対する明示的安定化直交ルンゲ・クッタ・チェビシェフ（ROCK）スキームに、標準的なオイラー＝マルヤマ離散化を置き換えることで収束を加速する、新しいプロキシマル・マルコフ連鎖モンテカルロ（MCMC）手法を提案する。同等の計算コストにおいて、特に全変動（TV）およびℓ₁事前分布を伴う画像処理問題において、オイラー法に依存するプロキシマルMCMCと比較して、はるかに高速な混合、より高い有効サンプルサイズ、および低い平均二乗誤差を達成する。

ABSTRACT

We present a highly efficient proximal Markov chain Monte Carlo methodology to perform Bayesian computation in imaging problems. Similarly to previous proximal Monte Carlo approaches, the proposed method is derived from an approximation of the Langevin diffusion. However, instead of the conventional Euler-Maruyama approximation that underpins existing proximal Monte Carlo methods, here we use a state-of-the-art orthogonal Runge-Kutta-Chebyshev stochastic approximation that combines several gradient evaluations to significantly accelerate its convergence speed, similarly to accelerated gradient optimisation methods. The proposed methodology is demonstrated via a range of numerical experiments, including non-blind image deconvolution, hyperspectral unmixing, and tomographic reconstruction, with total-variation and $\ell_1$-type priors. Comparisons with Euler-type proximal Monte Carlo methods confirm that the Markov chains generated with our method exhibit significantly faster convergence speeds, achieve larger effective sample sizes, and produce lower mean square estimation errors at equal computational budget.

研究の動機と目的

• 高次元かつ対数凸な事後分布を伴うベイズ的画像処理問題におけるプロキシマルMCMC手法の計算効率を向上させること。
• 従来のオイラー＝マルヤマに基づくプロキシマルMCMCの収束の遅さを、高度な確率的数値積分法を活用することで是正すること。
• 非定常な画像処理タスク（例：デコンボリューション、アンミキシング、再構成）において、より速いサンプリングと高い推定精度を実現すること。
• ワッサーシュタイン距離解析を用いて、収束速度およびサンプリング効率の優位性を理論的・実験的に示すこと。
• 不確実性の定量化を要する複雑な画像処理問題へのプロキシマルMCMCの適用範囲を拡張すること。

提案手法

• オイラー＝マルヤマ近似の代わりに、ランジュバン拡散に最新の直交ルンゲ・クッタ・チェビシェフ（ROCK）確率的積分法を採用する。
• ROCKスキームをモアウ・ヨシダ正則化された未調整ランジュバンアルゴリズムに適用し、1ステップあたり複数回の勾配評価を可能にすることで、安定性と収束性を向上させる。
• 確率的数値解析に基づくアプローチであり、明示的オイラー法に比べて、拡散過程における剛性をより効果的に扱える安定化された明示的手法を採用する。
• ガウス型のターゲット分布に対して、ワッサーシュタイン距離における理論的収束性を分析し、近似誤差の明示的バウンドを導出する。
• 高次元ガウスモデルへの応用を可能とするために、成分別解析を用い、収束速度の妥当な比較を可能にする。
• ROCKスキームのパラメータ選定は、安定性関数のスペクトル半径を最小化するように行われ、誤差項の減衰を最適化する。

実験結果

リサーチクエスチョン

• RQ1 オイラー＝マルヤマ法に代わる明示的安定化積分法（例：ROCK）が、ベイズ的画像処理におけるプロキシマルMCMCのサンプリングを著しく加速できるか。
• RQ2 同等の計算コストにおいて、ROCKに基づくプロキシマルMCMCの収束速度は、オイラー＝マルヤマ法に比べて、有効サンプルサイズおよび平均二乗誤差の観点でどのように異なるか。
• RQ3 本手法の理論的収束速度は、ガウス型ターゲット分布に対してワッサーシュタイン距離でどの程度の速度で達成されるか。
• RQ4 非線形画像処理問題（例：非盲目的デコンボリューション、トモグラフィック再構成）において、本手法はどの程度サンプリング効率を向上させるか。
• RQ5 ROCKスキームは、幾何的エルゴード性と事後分布の正確性を保持したまま、プロキシマルMCMCに効果的に適応可能か。

主な発見

• 提案手法であるROCKに基づくプロキシマルMCMCは、テストされたすべての画像処理問題において、オイラー＝マルヤマ法に依存する手法と比較して著しく高速な収束速度を達成する。
• 同等の計算コストにおいて、本手法はより高い有効サンプルサイズを生成し、混合の良さとより信頼性の高い事後分布推定を示す。
• 画像のデコンボリューション、ハイパースペクトルアンミキシング、トモグラフィック再構成の各タスクにおいて、平均二乗推定誤差が一貫して低く抑えられ、精度の向上が確認された。
• 理論的解析により、ターゲット分布とマルコフ連鎖分布との間のワッサーシュタイン距離が、ROCK安定性関数のスペクトル半径に支配される速度で減少することが示され、これはオイラー＝マルヤマ法のそれよりも小さい。
• 条件数とステップサイズの選択に依存する収束バウンドを有するが、本手法は病的な条件を伴う問題に対しても安定性と効率性を維持する。
• 条件数と安定性制約に基づくパラメータチューニングにより、誤差項の最適な減衰が達成され、本手法のロバストネスとスケーラビリティが裏付けられた。