[論文レビュー] Learning Deep CNN Denoiser Prior for Image Restoration

Kai Zhang, Wangmeng Zuo+2 more|arXiv (Cornell University)|Apr 11, 2017

Image and Signal Denoising Methods参考文献 54被引用数 127

ひとこと要約

この論文は高速CNNディノisersをトレーニングし、それらをHQF/ADMMを介したモデルベースの最適化へモジュラー priors として組み込み、さまざまな画像復元タスクを解決。タスク固有の再訓練なしで、ディノisingは競争力を維持し、デブリーニングと単一画像超解像で性能が向上します。

ABSTRACT

Model-based optimization methods and discriminative learning methods have been the two dominant strategies for solving various inverse problems in low-level vision. Typically, those two kinds of methods have their respective merits and drawbacks, e.g., model-based optimization methods are flexible for handling different inverse problems but are usually time-consuming with sophisticated priors for the purpose of good performance; in the meanwhile, discriminative learning methods have fast testing speed but their application range is greatly restricted by the specialized task. Recent works have revealed that, with the aid of variable splitting techniques, denoiser prior can be plugged in as a modular part of model-based optimization methods to solve other inverse problems (e.g., deblurring). Such an integration induces considerable advantage when the denoiser is obtained via discriminative learning. However, the study of integration with fast discriminative denoiser prior is still lacking. To this end, this paper aims to train a set of fast and effective CNN (convolutional neural network) denoisers and integrate them into model-based optimization method to solve other inverse problems. Experimental results demonstrate that the learned set of denoisers not only achieve promising Gaussian denoising results but also can be used as prior to deliver good performance for various low-level vision applications.

研究の動機と目的

• モデルベースの最適化と判別型ディノイザーを組み合わせて、柔軟かつ高速な画像復元を実現する動機付け。
• HQS/ADMM型フレームワーク内で priors として機能する高速CNNディノイザーのセットを学習する。
• CNNディノイザー priors がディノイング、デブリーニング、超解像（カラー画像を含む）で性能を向上させることを示す。
• ノイズレベルとカラー チャンネルを横断するディノイザーの実用的なトレーニング戦略を調査する。
• 提案手法の速度-精度トレードオフを示し、最新のディノising および復元法と比較する。

提案手法

• HQS（half-quadratic splitting）を介してディノイザー基準の prior による MAP 問題として画像復元を定式化し、忠実度と正則化をデカップリングする。
• 正則化ディノイザー項をCNNで実現されたGaussianディノiser に置き換え、すなわち z = Denoiser(x, sqrt(lambda/mu))。
• 7層の膨張畳み込みレイヤー（ receptive field 33x33 ）を備え、バッチ正規化と残差学習を用いてトレーニングを高速化するCNNディノイザーを設計する。
• ノイズレベル [0,50] をステップ2でカバーする25のグレースケール/カラーのディノイザーのセットを訓練し、マルチステップ HQS 反復をサポートする。
• 境界アーティファクトを減らすために小さなトレーニングパッチ（例: 35x35）を使用し、Adam 最適化で残差学習を活用する。
• ディノイザー priors を HQS 内で適用して、各タスクごとに再訓練せずにデブリーニングや単一画像超解像などのさまざまな逆問題を処理する。

実験結果

リサーチクエスチョン

• RQ1 データから学習された一連の高速CNNディノイザーは、さまざまな逆問題のモデルベース最適化でモジュラー priors として効果的に機能するか？
• RQ2 CNN ベースのディノイザーを HQS/ADMM に統合することは、従来の priors（例: BM3D, GMM）と比較してディノイング品質と復元性能にどのように影響するか？
• RQ3 カラー処理、パッチサイズ、ノイズレベルの区間といったトレーニング戦略は、タスクを横断してこのようなディノイザーの実用性を最適化するか？
• RQ4 カラー画像復元において、CNN によってモデル化されたカラー ディノージング priors はグレイースケール priors に比べて実質的な利点を提供するか？
• RQ5 提案手法は、PSNR および速度の点で、ディノイング、デブリーニング、超解像において最新手法と比較してどうか？

主な発見

• CNNディノイザーは、灰色ディノイジング on BSD68 における BM3D、WNNM、MLP、TNRD に対して約 0.2 dB のPSNR向上を達成。
• カラー ディノイジングにおいて CBM3D で提案ディノイザーは、一貫して CBM3D を顕著なマージンで上回る。
• デブリーニングでは、Leaves などの画像で、提案法は IDDBM3D、NCSR、MLP を上回るPSNRを達成（例：Leaves: 29.78 dB は競合の 26.95–28.87 dBを超える）。
• 単一画像超解像では、提案の灰色およびカラーディノイザーは多様なカーネルに対して再訓練なしで対応し、SRCNN/VDSR を非バイキュービック劣化下でも上回るPSNR を達成することが多く、Set5/Set14 のさまざまなカーネルで提案_G/C は強い結果を示す。
• GPU 上での高速実行を示す実験（例： Proposed_64 による様々なサイズのディノイジングで 0.006–0.146 s の例）と、CPU での競争力のある性能により、速度-精度のバランスが良好。
• 実験は、HQ S に学習済みディノイザー priors を組み込むことで、鋭い復元と多くの従来 priors に比べてアーティファクトを抑えることを示す。