[論文レビュー] Bias-Reduction in Variational Regularization

Eva-Maria Brinkmann, Martin Burger+2 more|arXiv (Cornell University)|Jun 16, 2016

Sparse and Compressive Sensing Techniques参考文献 26被引用数 3

ひとこと要約

本稿では、変分正則化のための2段階のバイアス低減手法を提案する。この手法は、最初の正則化ステップで得られた部分勾配を用いて定義されるモデル多様体上で、Bregman距離を用いたデータ適合性の最小化により、系統的バイアスを低減する。理論的に適切に定式化されており、最適なバイアス低減を達成し、数値実験では標準的手法を上回り、Bregman反復法と同等の性能を示す。

ABSTRACT

The aim of this paper is to introduce and study a two-step debiasing method for variational regularization. After solving the standard variational problem, the key idea is to add a consecutive debiasing step minimizing the data fidelity on an appropriate set, the so-called model manifold. The latter is defined by Bregman distances or infimal convolutions thereof, using the (uniquely defined) subgradient appearing in the optimality condition of the variational method. For particular settings, such as anisotropic $\ell^1$ and TV-type regularization, previously used debiasing techniques are shown to be special cases. The proposed approach is however easily applicable to a wider range of regularizations. The two-step debiasing is shown to be well-defined and to optimally reduce bias in a certain setting. In addition to visual and PSNR-based evaluations, different notions of bias and variance decompositions are investigated in numerical studies. The improvements offered by the proposed scheme are demonstrated and its performance is shown to be comparable to optimal results obtained with Bregman iterations.

研究の動機と目的

• 変分正則化法における代表的なバイアス、例えば全変動正則化におけるコントラスト損失やℓ¹正則化におけるピーク収縮を解消すること。
• リファittingによるサポート上での再適合やBregman反復法といった既存のバイアス低減技術を、一つの包括的で一般化された枠組みに統合すること。
• 最初の変分解における部分勾配を活用して、その後続のバイアス低減に用いるモデル多様体を定義する2段階アプローチを形式化すること。
• 特定の条件下で理論的適切性と最適なバイアス低減が保証されることを確立すること。
• PSNR、バイアス分解、分散分析を用いた数値的検証を通じて、本手法の有効性を示すこと。

提案手法

• 本手法は標準的な変分正則化から出発する：H(Au, f) + αJ(u) を最小化し、解 uα と部分勾配 pα ∈ ∂J(uα) を得る。
• 2段階目のバイアス低減では、制約条件 pα ∈ ∂J(u)、すなわちBregman距離 D_J^{pα}(u, uα) = 0 によって定義されるモデル多様体上でのデータ適合性 H(Au, f) の最小化を行う。
• モデル多様体は一般化されたBregman距離 D_J^p(u, v) = J(u) − J(v) − ⟨p, u − v⟩（p ∈ ∂J(v)）を用いて定義され、最初のステップの部分勾配と整合性を持つ。
• ℓ¹ やTVのような1-同次正則化子に対しては、符号制約付きのサポート上での再適合といった既知のバイアス低減手法が特別な場合として回復される。
• 非滑らかかつ非強凸な汎関数に対処するため、Bregman距離のインフィミマルコントラクトを用いて手法を再定式化する。
• 理論的分析により、2段階手法が適切に定義されており、特定の設定で最適なバイアス低減を達成することが証明され、逆スケール空間法やBregman反復法と一部で同等であることが示される。

実験結果

リサーチクエスチョン

• RQ1 リファインティングやBregman反復法、逆スケール空間法といった既存手法を統合できる包括的な2段階バイアス低減フレームワークを構築できるか？
• RQ2 Bregman距離によって定義されるモデル多様体をどのように活用することで、変分正則化におけるバイアスを最適に低減できるか？
• RQ3 提案手法は、標準的手法やBregman反復法と比較して、どの程度最適なバイアス低減を達成できるか？
• RQ4 最初のステップの部分勾配と2番目のステップにおける解多様体の構造との関係は何か？
• RQ5 数値実験において、提案手法下でのバイアスと分散の分解は、どのように振る舞うか？

主な発見

• 2段階バイアス低減手法は、凸的かつ1-同次正則化関数に対する理論的妥当性と適切な定式化を有する。
• 特定の設定において最適なバイアス低減を達成し、Bregman反復法と同等の理論的保証を持つ。
• ℓ¹ やTV型正則化に対しては、既知の再適合および符号制約付きバイアス低減手法が特別な場合として回復される。
• 数値結果ではPSNRと視覚的品質の顕著な向上が確認され、バイアス分解により方法的バイアスの低減が裏付けられる。
• 反復的精錬を必要としないにもかかわらず、再構成精度とバイアス低減の点でBregman反復法と同等の性能を示す。
• 特定の条件下（特に部分勾配が保存される場合）で、提案手法と逆スケール空間法との理論的同等性が確立される。