[論文レビュー] Supervised Learning of Sparsity-Promoting Regularizers for Denoising

Michael T. McCann, Saiprasad Ravishankar|arXiv (Cornell University)|Jun 9, 2020

Image and Signal Denoising Methods参考文献 33被引用数 9

ひとこと要約

本稿では、ペアの真値画像とノイズ付き画像の再構成誤差を最小化するように、正則化子のパラメータを学習する supervised learning フレームワークを提案する。このフレームワークは、双線形で変分的定式化に基づくもので、正則化子のパラメータを最適化することでスパarsityを促進する。主な貢献は、KKT 条件を用いた勾配計算であり、緩和を用いずにエンド・ツー・エンドの学習を可能にし、従来の手法や非教師あり手法に比べて優れたノイズ除去性能を達成している。

ABSTRACT

We present a method for supervised learning of sparsity-promoting regularizers for image denoising. Sparsity-promoting regularization is a key ingredient in solving modern image reconstruction problems; however, the operators underlying these regularizers are usually either designed by hand or learned from data in an unsupervised way. The recent success of supervised learning (mainly convolutional neural networks) in solving image reconstruction problems suggests that it could be a fruitful approach to designing regularizers. As a first experiment in this direction, we propose to denoise images using a variational formulation with a parametric, sparsity-promoting regularizer, where the parameters of the regularizer are learned to minimize the mean squared error of reconstructions on a training set of (ground truth image, measurement) pairs. Training involves solving a challenging bilievel optimization problem; we derive an expression for the gradient of the training loss using Karush-Kuhn-Tucker conditions and provide an accompanying gradient descent algorithm to minimize it. Our experiments on a simple synthetic, denoising problem show that the proposed method can learn an operator that outperforms well-known regularizers (total variation, DCT-sparsity, and unsupervised dictionary learning) and collaborative filtering. While the approach we present is specific to denoising, we believe that it can be adapted to the whole class of inverse problems with linear measurement models, giving it applicability to a wide range of image reconstruction problems.

研究の動機と目的

• スパarsity促進正則化子の最適化のための教師あり学習手法を開発し、手作業で設計されたものや非教師あり正則化子を超えること。
• 訓練データセット上で再構成誤差を最小化する二段階最適化問題として、パrametric 分析演算子（W_θ）の訓練の課題を定式化すること。
• KKT 条件を用いて訓練損失の正確な勾配を導出することで、非微分可能な ℓ1 範囲を緩和せずに、微分可能な最適化を可能にすること。
• 教師あり学習による分析演算子の学習が、標準的なスパarsityに基づく正則化子に比べて、より優れたノイズ除去性能を達成できることを示すこと。
• 本手法を一般の線形逆問題や非線形正則化子（例：CNN を用いた演算子）に拡張する基盤を築くこと。

提案手法

• 本手法は、変分的ノイズ除去定式化を用いる：最小化 ||x − y||²/2 + β||W_θ x||₁、ここで W_θ はパラメータ化された分析演算子であり、β は固定された正則化強度である。
• 訓練目的関数 Q(θ) は、訓練セットの (x_t, y_t) ペアにおいて、再構成画像 x*(W_θ, y_t) と真値画像 x_t の平均二乗誤差として定義される。
• 主な革新点は、KKT 条件を用いて Q(θ) の勾配を導出することで、ℓ1 範囲の緩和を回避し、内側最適化問題の解を経由した正確なバックプロパゲーションを可能にしたこと。
• 勾配は、ノイズ除去サブ問題の KKT 条件から導かれる線形方程式系を解くことで計算され、θ の最適化に勾配降下法を適用可能となる。
• 本手法は、2次元画像データセットを用いた合成ノイズ除去タスクに適用され、W_θ は DCT 変換として初期化され、データ分布に適応するように学習される。
• 本手法は、学習されたフィルターやその応答マップの分析へと拡張され、DCT や非教師あり辞書学習と比較して、フィルター構造とスパarsity パatters を評価する。

実験結果

リサーチクエスチョン

• RQ1 教師あり学習による分析演算子の学習は、全般化されたスパarsity促進正則化子（例：全変動や DCT）に比べ、画像ノイズ除去性能を顕著に向上させることができるか？
• RQ2 非微分可能な ℓ1 正則化子を含む二段階訓練目的関数の勾配を、KKT 条件を用いて計算することが可能か？
• RQ3 非教師あり辞書学習で得られるフィルターと比較して、学習されたフィルターは直交性、フィルターノルム、応答パターンにおいてどのように異なるか？
• RQ4 本手法は、線形フォワードモデル H を組み込むことで、ノイズ除去を越えたより複雑な逆問題に一般化可能か？
• RQ5 非直交的で重み付きのフィルターといった、パrameterization の柔軟性が再構成品質に与える影響は何か？

主な発見

• 教師あり手法はテスト画像でピーク信号対ノイズ比（PSNR）23.2 dB を達成し、全変動（23.2 dB）、DCT（22.1 dB）、非教師あり辞書学習（22.9 dB）を上回った。教師あり手法の誤差マップではノイズがより少ないことが確認された。
• 学習された分析演算子は、非直交的でノルムが異なる（0.75 から 1.54）フィルターを生成し、平坦領域でのノイズ低減をより適応的に行うことができた。
• フィルター応答マップの集約結果から、教師あり手法は画像のコーナーで応答を強調し、エッジ部での応答を DCT や非教師あり手法と比較して低減していた。これは構造的保存性の向上を示唆している。
• 両手法が DCT フィルターで初期化されていながらも、教師あり手法が非教師あり辞書学習を上回った。これは、正則化子学習における教師あり学習の利点を示している。
• KKT を用いた勾配計算により、ℓ1 ペナルティを緩和せずに分析演算子の有効な学習が可能となり、微分可能な二段階最適化の理論的枠組みが裏付けられた。
• 本手法は、一般の線形逆問題や非線形正則化子（例：CNN を用いた演算子）への応用に有望であるが、正則化子が非凸である場合、内側最適化問題を解く上での課題は依然として残っている。