[論文レビュー] Bayesian imaging using Plug & Play priors: when Langevin meets Tweedie

Rémi Laumont, Valentin De Bortoli+4 more|arXiv (Cornell University)|Mar 8, 2021

Sparse and Compressive Sensing Techniques参考文献 71被引用数 9

ひとこと要約

この論文は、モンテカルロサンプリングと最小平均二乗誤差推定のためのアンプル・ランジュバン・アルゴリズム（ULA）と組み合わせた、プラグアンドプレイ（P&P）事前分布を組み合わせたベイジアン画像処理フレームワーク、PnP-ULAを紹介する。本手法は現実的な仮定の下で厳密な収束保証を確立しており、特に深層ニューラルネットワークによるノイズ除去器に対して有効であり、適切に定式化された決定理論的に最適なベイジアンモデルに近似することを示している。

ABSTRACT

Since the seminal work of Venkatakrishnan et al. in 2013, Plug & Play (PnP) methods have become ubiquitous in Bayesian imaging. These methods derive Minimum Mean Square Error (MMSE) or Maximum A Posteriori (MAP) estimators for inverse problems in imaging by combining an explicit likelihood function with a prior that is implicitly defined by an image denoising algorithm. The PnP algorithms proposed in the literature mainly differ in the iterative schemes they use for optimisation or for sampling. In the case of optimisation schemes, some recent works guarantee the convergence to a fixed point, albeit not necessarily a MAP estimate. In the case of sampling schemes, to the best of our knowledge, there is no known proof of convergence. There also remain important open questions regarding whether the underlying Bayesian models and estimators are well defined, well-posed, and have the basic regularity properties required to support these numerical schemes. To address these limitations, this paper develops theory, methods, and provably convergent algorithms for performing Bayesian inference with PnP priors. We introduce two algorithms: 1) PnP-ULA (Unadjusted Langevin Algorithm) for Monte Carlo sampling and MMSE inference; and 2) PnP-SGD (Stochastic Gradient Descent) for MAP inference. Using recent results on the quantitative convergence of Markov chains, we establish detailed convergence guarantees for these two algorithms under realistic assumptions on the denoising operators used, with special attention to denoisers based on deep neural networks. We also show that these algorithms approximately target a decision-theoretically optimal Bayesian model that is well-posed. The proposed algorithms are demonstrated on several canonical problems such as image deblurring, inpainting, and denoising, where they are used for point estimation as well as for uncertainty visualisation and quantification.

研究の動機と目的

• プラグアンドプレイ（P&P）事前分布を用いたベイジアン推論の理論的裏付けをもつフレームワークを確立すること。
• PnP手法におけるモンテカルロサンプリングの収束証明の欠如に取り組むこと。
• PnP-ULAが適切に定式化された、決定理論的に最適なベイジアンモデルに近似することを示すこと。
• 深層ニューラルネットワークによるノイズ除去器を事前分布として用いた場合のランジュバンベースのサンプリングにおける収束保証を提供すること。
• 事後分布サンプリングを用いて、画像の逆問題における不確実性の定量化を可能にすること。

提案手法

• ランジュバンスデのオイラー＝マルヤマ離散化に基づくマルコフ連鎖に、P&P事前分布を組み合わせたPnP-ULAを提案する。
• ツイーディの恒等式を用いて、事前分布の勾配をMMSEノイズ除去器に関連づけ、近似のための近接作用素や勾配ベースの近似を回避する。
• ランジュワン更新における近接作用素の代わりにノイズ除去器を代理として用い、最先端の深層ニューラルネットワークによるノイズ除去器を活用可能にする。
• 得られた勾配のスコア関数のリプシッツ連続性などの弱い条件下で、全 Variation（TV）ノルムにおいて真の事後分布に収束することを確立する。
• Moresau-YosidaのエンVELOPEを理論的ブリッジとして用い、PnP-ULAを標準的なベイジアンモデルと結びつける。
• 点推定と不確実性の定量化の両方を含む、画像のぼかし回復と穴埋め（インpainting）タスクで手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 プラグアンドプレイ（P&P）事前分布を用いたモンテカルロサンプリングは、収束保証を伴って厳密に正当化可能か？
• RQ2 PnP-ULAは、頻度主義的視点から意味を持つ、適切に定式化されたベイジアンモデルに近似するか？
• RQ3 深層ニューラルネットワークによるノイズ除去器の性質が、PnP-ULAの収束性と精度に与える影響は何か？
• RQ4 PnP-ULAの下で得られるベイジアンモデルの意思決定理論的最適性はいかほどか？
• RQ5 PnP-ULAを用いて、画像再構成における不確実性を信頼性高く定量化できるか？

主な発見

• PnP-ULAは、ノイズ除去器に関する弱く検証可能な条件下で、全 Variation（TV）ノルムにおいて真の事後分布に収束することが示された。
• アルゴリズムは、事前分布が深層ニューラルネットワークによって暗黙的に定義されていても、意思決定理論的に最適なベイジアンモデルに近似的に収束することが示された。
• ぼかし回復タスクにおいて、PnP-ULAはシンプソン画像でPSNR 30.50、SSIM 0.93を達成し、α=1のPnP-SGDを上回った。
• 穴埋め（インpainting）タスクでは、アリーマン画像でPSNR 28.98、SSIM 0.80を達成し、不確実性マップがエッジや構造的領域に局在化していた。
• 周辺標準偏差を用いた不確実性定量化により、劣化の性質に起因して、穴埋めタスクではぼかし回復よりも高い不確実性が示された。特にスケールが大きい領域で顕著であった。
• 本手法により、信頼性のある不確実性の可視化と定量化が可能となり、異なる空間スケールでの不確実性を評価するために、ダウンスケールされたサンプルの標準偏差マップが計算された。