[論文レビュー] Residual Learning for Effective joint Demosaicing-Denoising

Yu Guo, Qiyu Jin+3 more|arXiv (Cornell University)|Sep 14, 2020

Image and Signal Denoising Methods参考文献 42被引用数 10

ひとこと要約

本稿では、従来のパイプラインとは逆に、まずハイブリッドCNN-Inceptionモデルを用いてデモザイキングを行い、その後で残差学習により得られたノイズ多きい画像をノイズ除去する、新規な共同デモザイキング・ノイズ除去フレームワークを提案する。この手法はチェッカーボード効果を効果的に低減し、細かいディテールを保持し、特に高ノイズレベル（SNR 20を超える）において、定量的指標および視覚的品質の両面で最先端の手法を上回る性能を発揮する。

ABSTRACT

Image demosaicking and denoising are the two key steps for color image production pipeline. The classical processing sequence consists of applying denoising first, and then demosaicking. However, this sequence leads to oversmoothing and unpleasant checkerboard effect. Moreover, it is very difficult to change this order, because once the image is demosaicked, the statistical properties of the noise will be changed dramatically. This is extremely challenging for traditional denoising models that strongly rely on statistical assumptions. In this paper, we attempt to tackle this prickly problem. Indeed, here we invert the traditional CFA processing pipeline by first demosaicking and then denoising. In the first stage, we design a demosaicking algorithm that combines traditional methods and a convolutional neural network (CNN) to reconstruct a full color image ignoring the noise. To improve the performance in image demosaicking, we modify an Inception architecture for fusing R, G and B three channels information. This stage retains all known information that is the key point to obtain pleasurable final results. After demosaicking, we get a noisy full-color image and use another CNN to learn the demosaicking residual noise (including artifacts) of it, that allows to obtain a restored full color image. Our proposed algorithm completely avoids the checkerboard effect and retains more image detail. Furthermore, it can process very high-level noise while the performances of other CNN based methods for noise higher than 20 are rather limited. Experimental results show clearly that our method outperforms state-of-the-art methods both quantitatively as well as in terms of visual quality.

研究の動機と目的

• 従来のデモザイキング→ノイズ除去のパイプラインに起因する過剰な平滑化およびチェッカーボードアーティファクトの問題を是正する。
• デモザイキング後にノイズ分布が変化する課題に起因し、従来のノイズ除去モデルの性能が低下する問題を克服する。
• 画像ディテールを保持しつつ、ノイズを効果的に除去する、耐障害性の高い共同処理フレームワークを開発する。
• 既存のCNNベースの手法が失敗する高ノイズ環境（SNR > 20）においても、効果的なノイズ除去を実現する。
• デモザイキング画像内の残差ノイズを学習することで、視覚的品質および定量的性能を向上させる。

提案手法

• 第一段階：古典的補間と変更されたInceptionアーキテクチャを組み合わせたハイブリッドモデルを用いて、RAW CFA画像のデモザイキングを行う。このプロセスでは、R、G、Bチャンネルの情報を統合する。
• Inceptionベースのネットワークは、デモザイキング精度の向上を目的として、マルチチャネル特徴の統合を強化するように特に適応されている。
• 第二段階：デモザイキングされたフルカラー画像に存在する残差ノイズ（アーティファクトを含む）を別個のCNNで学習する。
• 残差学習アプローチにより、ネットワークはクリーンな画像を再構築するのではなく、ノイズおよび構造的歪みの補正に集中できる。
• 標準的な処理順序（デモザイキング→ノイズ除去）とは逆転させることで、ノイズの統計的整合性を維持し、効果的な学習を可能にする。
• デモザイキング段階で画像情報の完全性を保ち、ノイズモデリングの段階に移行することで、チェッカーボード効果を回避する。

実験結果

リサーチクエスチョン

• RQ1 従来のデモザイキング・ノイズ除去パイプラインの順序を入れ替えることで、画像品質が向上し、チェッカーボード効果などのアーティファクトが低減するか？
• RQ2 デモザイキング後にノイズ統計が変化する状況下で、残差学習がデモザイキング画像のノイズ除去にどの程度効果的か？
• RQ3 ハイブリッドCNN-Inceptionアーキテクチャは、標準的手法と比較してデモザイキング性能を向上させられるか？
• RQ4 本手法は、既存手法が劣化する高ノイズレベル（例：SNR > 20）でも優れた性能を維持できるか？
• RQ5 逐次処理と比較して、本手法の共同処理アプローチが細かい画像ディテールをどの程度効果的に保持できるか？

主な発見

• 提案手法は、従来のノイズ除去パイプラインでよく見られるチェッカーボード効果を顕著に低減した。
• 特に高周波数領域において、最先端の手法と比較してより多くの画像ディテールを保持した。
• 定量的性能が顕著に向上し、標準指標（例：PSNR、SSIM）において、既存のCNNベースの手法を上回った。
• SNR > 20 の高ノイズ環境においても効果的に処理でき、他のCNNベースの手法が性能を低下させる状況でも安定した性能を示した。
• 視覚的品質が顕著に向上し、アーティファクトが減少し、より自然な色再現が実現された。
• 残差学習段階は、複雑なノイズパターンおよびデモザイキングアーティファクトを効果的に捉え、除去できた。