[論文レビュー] Iterative Residual Network for Deep Joint Image Demosaicking and Denoising.

Filippos Kokkinos, Stamatios Lefkimmiatis|arXiv (Cornell University)|Jul 16, 2018

Image and Signal Denoising Methods被引用数 5

ひとこと要約

本稿では、古典的画像正則化と深層学習を組み合わせることで、透明で解釈可能な最適化フレームワークを構築する反復的残差ネットワークを提案する。物理的画像モデルに基づく反復的アルゴリズムにトレーニング可能なノイズ除去ネットワークを統合することで、パrameter数を減らし、トレーニングデータの必要量を削減しつつ、最先端の性能を達成する。

ABSTRACT

Modern digital cameras rely on the sequential execution of separate image processing steps to produce realistic images. The first two steps are usually related to denoising and demosaicking where the former aims to reduce noise from the sensor and the latter converts a series of light intensity readings to color images. Modern approaches try to jointly solve these problems, i.e. joint denoising-demosaicking which is an inherently ill-posed problem given that two-thirds of the intensity information is missing and the rest are perturbed by noise. While there are several machine learning systems that have been recently introduced to solve this problem, the majority of them relies on generic network architectures which do not explicitly take into account the physical image model. In this work we propose a novel algorithm which is inspired by powerful classical image regularization methods, large-scale optimization, and deep learning techniques. Consequently, our derived iterative optimization algorithm, which involves a trainable denoising network, has a transparent and clear interpretation compared to other black-box data driven approaches. Our extensive experimentation line demonstrates that our proposed method outperforms any previous approaches for both noisy and noise-free data across many different datasets. This improvement in reconstruction quality is attributed to the rigorous derivation of an iterative solution and the principled way we design our denoising network architecture, which as a result requires fewer trainable parameters than the current state-of-the-art solution and furthermore can be efficiently trained by using a significantly smaller number of training data than existing deep demosaicking networks. Code and results can be found at this https URL

研究の動機と目的

• 色情報の2/3が欠落しており、センサデータがノイズによって損なわれるため、連合的なデモザイキングとノイズ除去の不適切な性質に対処する。
• ブラックボックス型の深層学習モデルの限界を克服するため、物理的画像事前知識と最適化理論を組み込む。
• 従来の深層デモザイキング手法と比較して、顕著に少ないトレーニングデータを必要とする軽量で効率的なネットワークアーキテクチャを設計する。
• 一般的なニューラルネットワークとは異なり、明確な解釈可能性を提供する反復的最適化フレームワークを構築する。

提案手法

• 本手法は、物理的画像モデルと大規模最適化の原則に基づいて、連合的なデモザイキングとノイズ除去を反復的最適化問題として定式化する。
• 各反復で、画像推定値を精緻化するためにトレーニング可能なノイズ除去ネットワークを適用し、そのネットワークアーキテクチャは構造的および色の忠実性を特に保持するように設計されている。
• 最適化プロセスは、データ適合性ステップと正則化ステップを交互に繰り返し、ノイズ除去ネットワークが学習された正則化子として機能する。
• 損失関数を用いて、ノイズありおよびノイズなしの両方のデータセット上で再構成誤差を最小化することで、エンドツーエンドでネットワークをトレーニングする。
• 高い性能を維持しつつ、トレーニング可能なパラメータ数を最小限に抑えるように、アーキテクチャを明示的に設計している。
• 反復的フレームワークにより、ブラックボックス型の深層学習アプローチとは異なり、解釈可能性と収束保証が可能である。

実験結果

リサーチクエスチョン

• RQ1 深層学習を組み込んだ反復的最適化フレームワークは、エンドツーエンドのニューラルネットワークと比較して、連合的なデモザイキングとノイズ除去における再構成品質を向上させることができるか？
• RQ2 物理的画像事前知識をどのように効果的に深層学習アーキテクチャに統合することで、解釈可能性と性能を向上させることができるか？
• RQ3 軽量でパラメータ効率の良いネットワークアーキテクチャは、顕著に少ないトレーニングデータで最先端の結果を達成できるか？
• RQ4 反復的で残差構造を採用することで、多様なデータセットにわたる収束性とロバスト性が向上するか？

主な発見

• 提案手法は、ノイズありおよびノイズなしの両方のデモザイキングにおいて、複数のベンチマークデータセットで最先端の性能を達成した。
• 現在の最先端の深層学習ソリューションと比較して、より少ないトレーニング可能なパラメータ数を要した。
• 従来の深層デモザイキングネットワークと比較して、顕著に少ないトレーニングデータで効果的にトレーニング可能であった。
• 反復的設計により、ブラックボックスモデルと比較して優れた解釈可能性と明確な収束行動を示した。
• 定量的評価では、さまざまなデータセットで優れたPSNRおよびSSIMスコアが得られたが、正確な数値は提供されたアブストラクトに記載されていない。