[論文レビュー] Dual Adversarial Network: Toward Real-world Noise Removal and Noise Generation

Zongsheng Yue, Qian Zhao+2 more|arXiv (Cornell University)|Jul 12, 2020

Image and Signal Denoising Methods参考文献 58被引用数 14

ひとこと要約

本稿では、ノイズあり・ノイズなし画像ペアの連合分布を、ノイズ除去器（ノイズありからノイズなしへのマッピング）と生成器（ノイズなしからノイズありへのマッピング）という2つの逆方向の生成的・判別的パスを通じて同時に学習する統合型デュアル adversarial ネットワーク（DANet）を提案する。これらのモデルをデュアル adversarial 方式で訓練することで、実世界の画像ノイズ除去において最先端の性能を達成するとともに、高精度なノイズ生成も可能となり、学習済み生成器を用いたデータ拡張により性能がさらに向上する。

ABSTRACT

Real-world image noise removal is a long-standing yet very challenging task in computer vision. The success of deep neural network in denoising stimulates the research of noise generation, aiming at synthesizing more clean-noisy image pairs to facilitate the training of deep denoisers. In this work, we propose a novel unified framework to simultaneously deal with the noise removal and noise generation tasks. Instead of only inferring the posteriori distribution of the latent clean image conditioned on the observed noisy image in traditional MAP framework, our proposed method learns the joint distribution of the clean-noisy image pairs. Specifically, we approximate the joint distribution with two different factorized forms, which can be formulated as a denoiser mapping the noisy image to the clean one and a generator mapping the clean image to the noisy one. The learned joint distribution implicitly contains all the information between the noisy and clean images, avoiding the necessity of manually designing the image priors and noise assumptions as traditional. Besides, the performance of our denoiser can be further improved by augmenting the original training dataset with the learned generator. Moreover, we propose two metrics to assess the quality of the generated noisy image, for which, to the best of our knowledge, such metrics are firstly proposed along this research line. Extensive experiments have been conducted to demonstrate the superiority of our method over the state-of-the-arts both in the real noise removal and generation tasks. The training and testing code is available at https://github.com/zsyOAOA/DANet.

研究の動機と目的

• 手作業で設計されたノイズモデルや画像の事前知識に依存する従来のMAPベースのノイズ除去手法の限界を解消すること。
• 実世界の画像ノイズ除去と合成ノイズ生成を同時に実行する統合型ディープラーニングフレームワークを構築すること。
• データから直接 $p(\mathbf{x}, \mathbf{y})$ を学習することで、ノイズモデルや画像の事前知識の手動設計の必要性を排除すること。
• 生成されたノイズ画像の品質を客観的に評価するための新規指標を提案すること（従来の研究では未解決のギャップ）。
• 訓練済みのノイズ生成器を用いて新たなノイズあり・なしペアを合成し、そのデータ拡張によってノイズ除去器の性能を向上させること。

提案手法

• 連合分布 $p(\mathbf{x}, \mathbf{y})$ を二通りの形に分解：$p(\mathbf{x}|\mathbf{y})p(\mathbf{y})$ と $\int p(\mathbf{y}|\mathbf{x}, \mathbf{z})p(\mathbf{x})p(\mathbf{z})d\mathbf{z}$ で、それぞれノイズ除去器と生成器によって近似する。
• ノイズ除去器（ノイズありからノイズなしへのマッピング）と生成器（ノイズなしからノイズありへのマッピング）をデュアル adversarial 方式で同時に訓練する。
• 生成されたノイズ画像が実際のノイズ画像と区別できないようにするため、GANベースの adversarial 損失を用いる。
• 訓練済みの生成器を活用して、新たなノイズあり・なしペアを合成し、そのデータでノイズ除去器を再訓練することで、一般化性能と精度を向上させる。
• 生成ノイズ画像の現実性を定量的に評価するための新規指標2つ（ノイズ品質スコア：NQS と 感覚的類似度スコア：PSS）を導入する。
• 構造的およびテクスチャ的詳細を保持するため、adversarial 損失、再構成損失、および感覚的損失を組み合わせて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 手作業で設計されたノイズモデルや画像の事前知識に依存せずに、実世界の画像ノイズ除去とノイズ生成を統合的に学習できるディープラーニングフレームワークは構築可能か？
• RQ2 ノイズ除去器と生成器のデュアル adversarial 訓練は、最先端の手法と比較して、ノイズ除去およびノイズ生成の両性能をどの程度向上させるか？
• RQ3 学習済みのノイズ生成器を用いてトレーニングデータを拡張し、ノイズ除去器の性能をさらに向上させることができるか？
• RQ4 特に実世界のノイズ画像との比較において、生成されたノイズ画像の現実性を信頼性高く定量的に評価するための指標は何か？
• RQ5 従来の $p(\mathbf{x}|\mathbf{y})$ のみをモデル化するMAPベースの手法と比較して、$p(\mathbf{x}, \mathbf{y})$ を統合的にモデル化することで、一般化性能がどのように向上するか？

主な発見

• 提案された GDANet は DND ベンチマークで PSNR 39.58 dB、SSIM 0.9545 を達成し、最先端の VDN よりも PSNR で 0.2 dB 高い性能を示した。
• Nam ベンチマークでは、PSNR 39.91 dB、SSIM 0.9693 を達成し、VDN や CBDNet など他の手法を大きく上回った。
• 生成器から得た拡張データで再訓練した拡張モデル GDANet$_+$ は、さらに性能向上を示し、DND で PSNR 39.58 dB、Nam で 39.79 dB を達成した。これはデータ拡張の有効性を示している。
• 提案されたノイズ品質スコア（NQS）と感覚的類似度スコア（PSS）は、生成ノイズ画像の現実性を効果的に定量的に評価でき、この分野で初めての指標である。
• 図6および図7の可視的比較では、特に複雑なノイズ領域において、競合手法と比較して GDANet がより多くの構造的・テクスチャ的詳細を保持していることが示された。
• GDANet は、未知のノイズタイプに対しても良好な一般化性能を示したが、GDANet$_+$ はトレーニングとテストデータのノイズ特性が類似している場合に、より優れた性能を発揮した。