[論文レビュー] Maximum likelihood estimation of regularisation parameters in high-dimensional inverse problems: an empirical Bayesian approach. Part I: Methodology and Experiments

Ana F. Vidal, Valentin De Bortoli+2 more|arXiv (Cornell University)|Nov 26, 2019

Sparse and Compressive Sensing Techniques参考文献 66被引用数 5

ひとこと要約

本稿では、最大周辺尤度推定を用いて、高次元の逆画像復元問題における複数の正則化パラメータを自動的・データ駆動的に推定する経験的ベイズ手法を提案する。確率的近接勾配最適化と近接MCMCサンプリングを組み合わせることで、標準的な近接アルゴリズムと同一のオペレータを活用しつつ、効率的なパラメータ推定が可能となり、ノイズ除去、ぼかし回復、ハイパースペクトルアンミキシングのタスクにおいてほぼ最適な性能を達成する。

ABSTRACT

Many imaging problems require solving an inverse problem that is ill-conditioned or ill-posed. Imaging methods typically address this difficulty by regularising the estimation problem to make it well-posed. This often requires setting the value of the so-called regularisation parameters that control the amount of regularisation enforced. These parameters are notoriously difficult to set a priori, and can have a dramatic impact on the recovered estimates. In this work, we propose a general empirical Bayesian method for setting regularisation parameters in imaging problems that are convex w.r.t. the unknown image. Our method calibrates regularisation parameters directly from the observed data by maximum marginal likelihood estimation, and can simultaneously estimate multiple regularisation parameters. Furthermore, the proposed algorithm uses the same basic operators as proximal optimisation algorithms, namely gradient and proximal operators, and it is therefore straightforward to apply to problems that are currently solved by using proximal optimisation techniques. Our methodology is demonstrated with a range of experiments and comparisons with alternative approaches from the literature. The considered experiments include image denoising, non-blind image deconvolution, and hyperspectral unmixing, using synthesis and analysis priors involving the L1, total-variation, total-variation and L1, and total-generalised-variation pseudo-norms. A detailed theoretical analysis of the proposed method is presented in the companion paper arXiv:2008.05793.

研究の動機と目的

• 不適切な正則化パラメータの事前選択という長年の課題に、不適切な画像逆問題に対して対処すること。
• 複数の正則化パラメータを同時に推定可能な、一般的で自動的かつ教師なしの手法を開発すること。
• 現代の近接最適化とモンテカルロサンプリング技術を統合することで、計算効率と理論的頑健性を確保すること。
• 非盲目的復元や全般化された全変動正則化を含む多様な画像復元問題において、本手法の有効性を実証すること。
• 凸的で、おそらく非滑らかである可能性のある画像復元問題に適用可能な理論的裏付けが強く、スケーラブルなアプローチを提供すること。

提案手法

• 正則化パラメータを観測データから直接推定するために、最大周辺尤度推定を採用する。
• 計算不能な周辺尤度を近似するために、2つの近接マルコフ連鎖モンテカルロ（MCMC）サンプラーに駆動される確率的近接勾配アルゴリズムを用いる。
• 勾配および近接作用素に依存するため、既存の近接最適化フレームワークと互換性がある。
• 全変動（TGV）のような二変量ケースを含む、複数の正則化パラメータを扱えるように設計されている。
• 確認可能な簡単な条件下で収束性が保証されており、補足的な理論的分析によって理論的根拠が裏付けられている。
• ℓ₁、全変動、全般化された全変動正則化を含む問題に適用し、効率的な数値実装を用いている。

実験結果

リサーチクエスチョン

• RQ1 高次元の画像逆問題において、正則化パラメータを自動的かつ頑健に推定する方法は何か？
• RQ2 凸的画像復元問題において、複数の正則化パラメータを一括して推定できる統一的な経験的ベイズフレームワークは存在するか？
• RQ3 本手法は、SURE、L曲線、交差検証といった既存手法と比較して、推定精度と頑健性において優れているか？
• RQ4 周辺尤度最適化のための確率的近接MCMCアルゴリズムの理論的収束特性は何か？
• RQ5 本手法は、全般化された全変動やハイブリッドスパースティ・正則化モデルのような複雑な正則化構造へどの程度一般化可能か？

主な発見

• ノイズ除去および非盲目的ぼかし回復において、平均二乗誤差（MSE）の観点でほぼ最適な性能を達成し、先行研究の手法を上回った。
• 全変動とスパースティの事前分布を併用したハイパースペクトルアンミキシングにおいて、2つの正則化パラメータを適切に推定し、最適MSEに近い結果を達成した。
• 全般化された全変動（TGV）正則化において、12 dB SNRのflintstones画像に対してほぼ最適なノイズ除去性能を達成し、異なる初期値設定に対しても安定した収束を示した。
• 従来の全変動領域に近い初期値から開始した場合、初期値の影響に対して頑健であったが、初期値が不適切な場合は部分的収束に陥る可能性があった。
• 計算的に効率的でスケーラブルであり、標準的な近接ソルバと同一のオペレータを活用しているため、既存の画像処理パイプラインへの直接統合が可能である。
• 理論的分析により、緩い条件下でも収束性が保証されており、本手法はテストした範囲を超えた他の正則化構造へも一般化可能であることが示された。