[論文レビュー] Simultaneous Fidelity and Regularization Learning for Image Restoration

Dongwei Ren, Wangmeng Zuo+3 more|arXiv (Cornell University)|Apr 12, 2018

Advanced Image Processing Techniques参考文献 64被引用数 8

ひとこと要約

本稿では、部分的にしか把握されていないか、不正確な劣化モデル下での画像修復において、忠実度項と正則化項を同時に学習するタスク指向学習フレームワーク、SFARLを提案する。モデルの不正確さに起因する残差をパラメータ化し、段階的ネットワークを用いて忠実度と正則化を共同最適化することで、不正確なカーネルを用いたデコンボリューション、雨じめりん除去、ノイズ除去の各タスクで最先端の性能を達成し、アーティファクトを顕著に低減するとともに、視覚的品質と定量的指標を向上させた。

ABSTRACT

Most existing non-blind restoration methods are based on the assumption that a precise degradation model is known. As the degradation process can only be partially known or inaccurately modeled, images may not be well restored. Rain streak removal and image deconvolution with inaccurate blur kernels are two representative examples of such tasks. For rain streak removal, although an input image can be decomposed into a scene layer and a rain streak layer, there exists no explicit formulation for modeling rain streaks and the composition with scene layer. For blind deconvolution, as estimation error of blur kernel is usually introduced, the subsequent non-blind deconvolution process does not restore the latent image well. In this paper, we propose a principled algorithm within the maximum a posterior framework to tackle image restoration with a partially known or inaccurate degradation model. Specifically, the residual caused by a partially known or inaccurate degradation model is spatially dependent and complexly distributed. With a training set of degraded and ground-truth image pairs, we parameterize and learn the fidelity term for a degradation model in a task-driven manner. Furthermore, the regularization term can also be learned along with the fidelity term, thereby forming a simultaneous fidelity and regularization learning model. Extensive experimental results demonstrate the effectiveness of the proposed model for image deconvolution with inaccurate blur kernels, deconvolution with multiple degradations and rain streak removal.

研究の動機と目的

• ぼかし除去や雨じめりん除去のような、劣化モデルが部分的にしか把握されていない、あるいは不正確にモデル化されている状況における画像修復の課題に対処すること。
• 劣化作用素とノイズモデルの正確な知識を仮定する従来のMAPベースの手法の制限を克服すること。
• 劣化済み画像と正解画像のペアから、タスク固有の方法で忠実度項と正則化項を同時に学習する、柔軟でデータ駆動型のフレームワークを構築すること。
• モデルの不正確さに起因する空間的に変化する複雑な残差をモデル化することで、修復性能を向上させること。
• 統一された最適化フレームワーク内での学習可能で適応可能なコンponentsを用いることで、さまざまな修復タスクへの一般化を可能にすること。

提案手法

• 未知または不正確な劣化効果をモデル化するため、空間的に適応的でタスク固有の残差関数として忠実度項をパラメータ化した最大事後確率（MAP）フレームワークを提案する。
• 観測画像と既知の劣化モデル出力との間の残差をモデル化する段階的でエンドツーエンド学習可能なネットワークを用いて、忠実度項を学習する。
• 訓練データから得られる画像統計と構造的事前知識を捉えるタスク固有のパラメータ化された事前分布を用いて、正則化項を同時に学習する。
• 劣化済み画像と正解画像のペアを用いてタスク指向で学習し、バックプロパゲーションにより忠実度項と正則化項の両方を共同最適化する。
• 段階的アーキテクチャを用いて、各段階で残差誤差に基づいて忠実度および正則化フィルタを更新することで、段階的に修復プロセスを精緻化する。
• 複雑で空間的に変化する劣化残差を効果的に捉えることができる柔軟な忠実度項のパラメータ化を導入し、現実世界の不完全さのより良いモデル化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 学習ベースのアプローチは、画像修復において不正確または部分的にしか把握されていない劣化モデルからの残差を効果的にモデル化できるか？
• RQ2 忠実度項と正則化項を、固定または手作業で設計された事前知識を凌駆する方法で同時に学習することは可能か？
• RQ3 学習された忠実度項と正則化項は、ぼかし除去、ノイズ除去、雨じめりん除去といった異なる画像修復タスクにどの程度一般化可能か？
• RQ4 提案された同時学習フレームワークは、劣化モデルが不正確なタスクにおいて、定量的指標と視覚的品質の両面で既存手法を上回るか？
• RQ5 学習された忠実度および正則化フィルタは、異なる修復タスク間で移行された場合、どのように振る舞うか？

主な発見

• Rain12デーモンニングデータセットにおいて、SFARLはPSNR 35.97、SSIM 0.9581を達成し、DDNET や DCNN といったベースライン手法を顕著に上回った。
• 不正確なぼかしカーネルを用いたデコンボリューションにおいて、SFARLはリングアーティファクトを低減し、ROBUST や DCNN と比較して視覚的に優れた結果を生成した。
• 正則化フィルタは中程度の移行性を示した—特にノイズ除去と雨じめりん除去のような類似した劣化に適用した場合に顕著だったが、性質の異なるタスクに適用すると性能が低下した。
• 忠実度フィルタは非常にタスク固有であり、ぼかし除去から雨じめりん除去への移行では失敗した。これは、カーネル推定誤差と強い相関があるためである。
• ガウスノイズ除去のタスクにおいても、SFARLは視覚的評価指標を向上させ、標準的手法よりもクリアな結果を生成し、ぼかし除去や雨じめりん除去にとどまらない有効性を示した。
• アブレーションスタディの結果、忠実度と正則化を独立に学習するのではなく、同時に学習することで性能が向上することが確認され、本同時学習フレームワークの必要性が裏付けられた。