[論文レビュー] Maximum likelihood estimation of regularisation parameters in high-dimensional inverse problems: an empirical Bayesian approach

Ana F. Vidal, Valentin De Bortoli+2 more|arXiv (Cornell University)|Nov 26, 2019

Sparse and Compressive Sensing Techniques被引用数 5

ひとこと要約

本稿では、高次元の逆問題における正則化パラメータの最尤推定のための経験的ベイズ手法を提案する。この手法は、2つのプロキシマルMCMCサンプラーによって駆動される確率的プロキシマル勾配アルゴリズムを用いる。本手法は、データから直接複数の正則化パラメータを効率的にキャリブレーション可能であり、ノイズ除去、デコンボリューション、アンミキシングといった画像処理タスクにおいて、理論的収束保証を伴って頑健な性能を発揮する。

ABSTRACT

Many imaging problems require solving an inverse problem that is ill-conditioned or ill-posed. Imaging methods typically address this difficulty by regularising the estimation problem to make it well-posed. This often requires setting the value of the so-called regularisation parameters that control the amount of regularisation enforced. These parameters are notoriously difficult to set a priori, and can have a dramatic impact on the recovered estimates. In this paper, we propose a general empirical Bayesian method for setting regularisation parameters in imaging problems that are convex w.r.t. the unknown image. Our method calibrates regularisation parameters directly from the observed data by maximum marginal likelihood estimation, and can simultaneously estimate multiple regularisation parameters. A main novelty is that this maximum marginal likelihood estimation problem is efficiently solved by using a stochastic proximal gradient algorithm that is driven by two proximal Markov chain Monte Carlo samplers. Furthermore, the proposed algorithm uses the same basic operators as proximal optimisation algorithms, namely gradient and proximal operators, and it is therefore straightforward to apply to problems that are currently solved by using proximal optimisation techniques. We also present a detailed theoretical analysis of the proposed methodology, including asymptotic and non-asymptotic convergence results with easily verifiable conditions, and explicit bounds on the convergence rates. The proposed methodology is demonstrated with a range of experiments and comparisons with alternative approaches from the literature. The considered experiments include image denoising, non-blind image deconvolution, and hyperspectral unmixing, using synthesis and analysis priors involving the L1, total-variation, total-variation and L1, and total-generalised-variation pseudo-norms.

研究の動機と目的

• 不適切に定式化された画像復元逆問題における正則化パラメータの事前設定の課題に対処すること。
• 最大マージナル尤度推定を用いて、データ駆動型の正則化パラメータキャリブレーション手法を開発すること。
• 凸画像復元問題における複数の正則化パラメータの同時推定を可能にすること。
• 推定手順の理論的収束を保証する明示的かつ検証可能な条件を提供すること。
• 既存のプロキシマル最適化演算子と互換性のある実用的で即時利用可能なフレームワークを提供すること。

提案手法

• 本手法は、観測データから正則化パラメータを推定するために最大マージナル尤度推定を採用する。
• マージナル尤度積分を近似するために、2つのプロキシマルマルコフ連鎖モンテカルロ（MCMC）サンプラーを用いる。
• 勾配とプロキシマル演算子を組み合わせた確率的プロキシマル勾配アルゴリズムが最適化を駆動する。
• アルゴリズムは、既存の最適化フレームワークに標準的に用いられるプロキシマル演算子を再利用できるように設計されている。
• 本手法は、L1、全変動（total variation）、全一般化変動（total generalized variation）ノルムによる正則化に適用可能である。
• 理論的分析には、漸近的および非漸近的収束結果が含まれており、明示的な収束速度の上限が提示されている。

実験結果

リサーチクエスチョン

• RQ1 高次元の逆問題における正則化パラメータは、経験的ベイズ手法を用いてデータから効果的に推定可能か？
• RQ2 凸画像復元フレームワークにおいて、複数の正則化パラメータを同時にキャリブレーションする方法は何か？
• RQ3 プロキシマルMCMCサンプリングを用いた確率的プロキシマル勾配アルゴリズムは、効率的かつ収束するパラメータ推定を達成できるか？
• RQ4 提案手法の収束に対してどのような理論的保証を提供できるか？
• RQ5 多様な画像処理タスクにおいて、既存の正則化パラメータ選択手法と比較して、本手法の性能はどのように異なるか？

主な発見

• 提案手法は、画像のノイズ除去、非盲目的デコンボリューション、ハイパースペクトルアンミキシングの分野で最先端の性能を達成した。
• 複数の正則化パラメータを同時にキャリブレーション可能であり、再構成精度が向上した。
• 理論的分析により、漸近的および非漸近的収束が明示的かつ検証可能な条件下で確認された。
• 収束速度は上限が存在し、問題固有のパラメータに依存しており、明示的な式が提示された。
• 再構成の忠実性およびパラメータ選択へのロバストネスの観点で、代替手法を上回った。
• フレームワークは標準的なプロキシマル最適化ツールと直接互換性があり、既存の画像処理パイプラインへの容易な統合が可能である。