[論文レビュー] Learning Deep Convolutional Networks for Demosaicing

Nai-Sheng Syu, Yu‐Sheng Chen+1 more|arXiv (Cornell University)|Feb 11, 2018

Image and Signal Denoising Methods参考文献 7被引用数 57

ひとこと要約

本論文は Bayer CFA 画像のデモザイシングのためのエンドツーエンド CNN モデルとして DMCNN および DMCNN-VD の2つを提案し、最先端の結果を示すとともに他の CFA および SVEC 設定へ拡張し、共同 CFA 設計とデモザイシングを含む。

ABSTRACT

This paper presents a comprehensive study of applying the convolutional neural network (CNN) to solving the demosaicing problem. The paper presents two CNN models that learn end-to-end mappings between the mosaic samples and the original image patches with full information. In the case the Bayer color filter array (CFA) is used, an evaluation with ten competitive methods on popular benchmarks confirms that the data-driven, automatically learned features by the CNN models are very effective. Experiments show that the proposed CNN models can perform equally well in both the sRGB space and the linear space. It is also demonstrated that the CNN model can perform joint denoising and demosaicing. The CNN model is very flexible and can be easily adopted for demosaicing with any CFA design. We train CNN models for demosaicing with three different CFAs and obtain better results than existing methods. With the great flexibility to be coupled with any CFA, we present the first data-driven joint optimization of the CFA design and the demosaicing method using CNN. Experiments show that the combination of the automatically discovered CFA pattern and the automatically devised demosaicing method significantly outperforms the current best demosaicing results. Visual comparisons confirm that the proposed methods reduce more visual artifacts than existing methods. Finally, we show that the CNN model is also effective for the more general demosaicing problem with spatially varying exposure and color and can be used for taking images of higher dynamic ranges with a single shot. The proposed models and the thorough experiments together demonstrate that CNN is an effective and versatile tool for solving the demosaicing problem.

研究の動機と目的

• 従来の手作業特徴や手法に起因するアーティファクトを克服するために、学習ベースのデモザイシングを動機づける。
• モザイクサンプルをフルカラーの画像パッチへ写像するエンドツーエンドの CNN アーキテクチャを開発する。
• sRGB 空間とリニア空間の双方で改善を示し、デノイジング-デモザイシングおよび CFA 設計の最適化を探る。
• Bayer 以外の CFA や SVEC（空間的に変化する露出/色）設定への適用性を示す。

提案手法

• DMCNN の設計: 33x33 のモザイクパッチを入力として 33x33x3 に拡張した3層 CNN; 3つの層は特徴抽出（128 個の 9x9 フィルタ）、非線形写像（64 個の 1x1 フィルタ）、再構成（5x5 フィルタ）を実行; ReLU と L2 損失を使用。
• DMCNN-VD の開発: 残差学習を伴う非常に深い20層 CNN; 各層は畳み込み、バッチ正規化、SELU 活性化を含む; 最終層はバイリニア補間されたベースラインに加算する残差を予測。
• Flickr500 データセットで訓練; 3x3 カーネルと1ピクセルパディングを使用; MSRA 初期化; Adam オプティマイザ; DMCNN-VD での残差学習。
• 非 Bayer CFA および SVEC（空間的に変化する露出とカラー）パターンへ拡張; データ駆動型 CFA 設計と CFA-デモザイシングを共同最適化を実施。

実験結果

リサーチクエスチョン

• RQ1 手作業の事前知識なしに、モザイクサンプルから直接効果的なデモザイシング特徴を学習できるか？
• RQ2 残差学習を用いたより深いネットワークは、浅い CNN よりデモザイシング品質を向上させるか？
• RQ3 CNN ベースのデモザイシングは CFA デザインを横断して一般化し、sRGB とリニアカラー空間の双方で動作できるか？
• RQ4 データ駆動学習を用いて CFA 設計とデモザイシングを共同最適化することは実現可能か？
• RQ5 CNN アプローチは SVEC パターンとより高いダイナミックレンジのシナリオを含む一般化デモザイシングに対応できるか？

主な発見

• DMCNN-VD は Kodak+McM で CPSNR が最大で 41.05 に達し、従来法を著しく上回る。
• DMCNN（浅い）は競争力があるが最先端には及ばず; 深さと残差学習が結果を大きく改善。
• Flickr500 で訓練した CNN モデルは一般化性能が高く、多くの設定でスパースコーディングベースラインを上回り、顕著な速度利得を提供。
• データ駆動型 CFA 設計（DMCNN-VD-Pa）と SVEC デモザイシングは、より良いアーチファクト抑制のために CFA パターンとデモザイシングを共同最適化できる能力を示す。
• ノイズがある/リニア空間データへの転移学習（DMCNN-VD-Tr）は、ノイズの多い MDD データで顕著な性能向上をもたらし、実用的な適応性を示す。