[論文レビュー] GRDN:Grouped Residual Dense Network for Real Image Denoising and GAN-based Real-world Noise Modeling

Dong-Wook Kim, Jae Ryun Chung+1 more|arXiv (Cornell University)|May 27, 2019

Image and Signal Denoising Methods参考文献 29被引用数 13

ひとこと要約

本稿では、実世界のノイズをGANベースの手法でモデル化するグループ化された残差密接続ネットワーク（GRDN）を提案する。グループ化された残差密接続ブロックと敵対的ノイズ生成を活用することで、GRDNは最先端の性能を達成し、NTIRE2019 sRGBベンチマークで39.93 dBのPSNRと0.9736のSSIMを達成し、先行手法を上回った。

ABSTRACT

Recent research on image denoising has progressed with the development of deep learning architectures, especially convolutional neural networks. However, real-world image denoising is still very challenging because it is not possible to obtain ideal pairs of ground-truth images and real-world noisy images. Owing to the recent release of benchmark datasets, the interest of the image denoising community is now moving toward the real-world denoising problem. In this paper, we propose a grouped residual dense network (GRDN), which is an extended and generalized architecture of the state-of-the-art residual dense network (RDN). The core part of RDN is defined as grouped residual dense block (GRDB) and used as a building module of GRDN. We experimentally show that the image denoising performance can be significantly improved by cascading GRDBs. In addition to the network architecture design, we also develop a new generative adversarial network-based real-world noise modeling method. We demonstrate the superiority of the proposed methods by achieving the highest score in terms of both the peak signal-to-noise ratio and the structural similarity in the NTIRE2019 Real Image Denoising Challenge - Track 2:sRGB.

研究の動機と目的

• 実際のノイズ付き画像とクリア画像のペairedデータが不足しているため、実世界の画像ノイズ除去の課題に対処する。
• 従来の統計的モデルよりも現実的であるとされるノイズモデル化アプローチを考案することで、ディープラーニングベースの画像ノイズ除去を改善する。
• 階層的な残差密接続ブロックを通じて特徴抽出とノイズ除去性能を向上させる、新たなネットワークアーキテクチャGRDNを設計する。
• 実データとGANで生成された合成ノイズを組み合わせることで、モデルの汎化性能を向上させることの有効性を示す。
• NTIRE2019 実画像ノイズ除去チャレンジ - トラック2:sRGBで最先端の性能を達成する。

提案手法

• 特徴再利用を向上させるために、畳み込み層をグループ化した残差密接続ブロック（GRDB）を構築単位として提案し、残差密接続ネットワーク（RDN）を拡張する。
• スカイプ接続とアテンションモジュールを組み合わせた複数のGRDBを段階的に接続することで、GRDNを構築し、特徴伝搬と学習を強化する。
• 実世界のノイズ画像から現実的なノイズパッチを生成するための条件付きGANベースのノイズモデル化手法（cERGAN）を開発する。
• ChDBデータセットから実世界のノイズの分布を学習することで、cERGANを用いて追加のトレーニングデータを合成する。
• 実際のChDBデータとcERGAN、統計的ノイズモデルから得た合成データの組み合わせを用いてGRDNモデルをトレーニングし、より高いロバスト性を実現する。
• cERGANを用いたデータオーグメンテーションにより、限られた実世界データセットサイズを超えて、トレーニングデータの多様性を向上させ、汎化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 従来のCNNベースの手法と比較して、グループ化された残差密接続ネットワークアーキテクチャは、実世界の画像ノイズ除去性能を顕著に向上させることができるか？
• RQ2 GANベースのノイズモデル化は、従来の統計的モデル（例：ガウス・ポisson）と比較して、より現実的なノイズパターンを生成できるか？
• RQ3 実世界データとGANで生成された合成ノイズを組み合わせることで、モデルの汎化性能と性能がどの程度向上するか？
• RQ4 提案されたGRDNアーキテクチャは、NTIRE2019などの実世界の画像ノイズ除去ベンチマークで最先端の結果を達成できるか？
• RQ5 提案手法の性能は、BM3Dなどの古典的手法や他の最先端の学習ベースのモデルと比較して、実世界データ上でどのように評価されるか？

主な発見

• GRDNはNTIRE2019 sRGBテストセットで最高のPSNR 39.931743 dBとSSIM 0.973589を達成し、チャレンジで1位となった。
• 2番目に良い手法よりもPSNRで0.05 dB高い性能を示し、実世界のノイズ除去において明確な性能差を示した。
• cERGANで生成された合成データを用いたトレーニングは、特に実データと組み合わせた場合、モデルの収束性と性能安定性を向上させた。
• cERGANで生成されたデータのみを用いたPSNRは38.63 dBであったが、これは実ChDBデータのみでトレーニングした場合の39.62 dBよりも劣っており、実データが依然として不可欠であることを示した。
• 実ChDBデータ（90％）とcERGANからの合成データ（5％）、統計的モデルからの合成データ（5％）を組み合わせた場合、PSNRは39.64 dBに達し、ベースラインの実データのみの結果をわずかに上回った。
• アブレーションスタディの結果、cERGANベースのノイズモデル化は[10]の統計的ノイズモデルを上回り、トレーニングおよび推論時のPSNRが高かったことが確認された。