[論文レビュー] Unsupervised Image Denoising in Real-World Scenarios via Self-Collaboration Parallel Generative Adversarial Branches

Xin Lin, Chao Ren+3 more|arXiv (Cornell University)|Aug 13, 2023

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本論文は、教師なし現実世界画像ノイズ除去のための自己協調的並列生成対抗ネットワーク、SCPGabNetを提案する。推論の複雑さを増さずに性能を向上させる。ノイズ抽出とノイズ除去のループ内で、弱いノイズ除去器を次々とより強力なものに置き換えることで、より優れた合成クリーン-ノイズ画像ペアを生成し、SIDDおよびDNDベンチマークで最先端の結果を達成。ベースライン比で1.86dBのPSNR向上を達成。

ABSTRACT

Deep learning methods have shown remarkable performance in image denoising, particularly when trained on large-scale paired datasets. However, acquiring such paired datasets for real-world scenarios poses a significant challenge. Although unsupervised approaches based on generative adversarial networks offer a promising solution for denoising without paired datasets, they are difficult in surpassing the performance limitations of conventional GAN-based unsupervised frameworks without significantly modifying existing structures or increasing the computational complexity of denoisers. To address this problem, we propose a SC strategy for multiple denoisers. This strategy can achieve significant performance improvement without increasing the inference complexity of the GAN-based denoising framework. Its basic idea is to iteratively replace the previous less powerful denoiser in the filter-guided noise extraction module with the current powerful denoiser. This process generates better synthetic clean-noisy image pairs, leading to a more powerful denoiser for the next iteration. This baseline ensures the stability and effectiveness of the training network. The experimental results demonstrate the superiority of our method over state-of-the-art unsupervised methods.

研究の動機と目的

• 教師なし現実世界画像ノイズ除去の課題に取り組む。訓練データにペアが存在しない状況を想定。
• 従来のGANベースの教師なしノイズ除去フレームワークが、構造的変更や複雑性の増加なしに初期学習段階を超えて性能を向上できないという限界を克服する。
• 合成クリーン-ノイズペアを用いて、モデルの自己強化を可能にする自己協調戦略を開発する。
• 補完的な「自己合成」と「ペアなし合成」制約を備えた安定的かつ効果的なベースラインフレームワークを設計し、強固な訓練を実現する。

提案手法

• 再構築入力とノイズ入力から合成ノイズ画像を生成するフィルターガイドドノイズ抽出（NE）モジュールを提案。
• 自己合成とペアなし合成の2つの補完的ブランチを備えた並列生成対抗ブランチフレームワークを導入。これにより、訓練の安定性と多様性が向上。
• 自己協調（SC）戦略を採用。過去のノイズ除去器を、より強力な現在のものに逐次置き換えることで、合成データを精錬し、性能を向上。
• 2段階の訓練プロセスを採用：最初にパッチサイズ112、バッチサイズ8で学習し、その後パッチサイズ128、バッチサイズ4でファインチューニング。両者で学習率は固定の1e-4。
• NEモジュールを用いてノイズ画像からノイズを抽出し、ノイズ除去器（DN）でクリーン画像を再構築。これにより、R-B（置換・強化）反復ループを形成。
• DnCNN、UNet、DeamNet、DBSNLなど複数のノイズ除去器にSC戦略を適用。アーキテクチャを問わず汎用性を示した。

実験結果

リサーチクエスチョン

• RQ1 自己協調メカニズムは、推論の複雑さを増さずに、GANベースの教師なし画像ノイズ除去を向上させることができるか？
• RQ2 補完的な自己合成とペアなし合成制約を備えた、本研究が提案する並列生成対抗ブランチフレームワークは、訓練の安定性と性能向上にどの程度効果的か？
• RQ3 自己協調戦略は、多様なノイズ除去ネットワークの性能を、現実世界画像ノイズ除去ベンチマークでどの程度向上させられるか？
• RQ4 SCによる合成クリーン-ノイズペアの反復的精錬は、複数の反復ステップにおいて一貫的かつ測定可能なPSNR向上をもたらすか？
• RQ5 SC戦略は、異なるネットワークアーキテクチャおよびデータセットに一般化可能か？

主な発見

• 提案されたSCPGabNetは、SIDDベンチマークにおいてベースラインのPGabNet比で1.86dBのPSNR向上を達成。自己協調戦略の有効性を裏付けた。
• SC戦略の最初の反復で0.5dB以上のPSNR向上が得られ、以降の反復では収束傾向にあり、性能の急速な向上が示された。
• DnCNNにSC戦略を適用した結果、SIDD検証セットでPSNRが0.96dB、SSIMが0.0085向上。汎用性が確認された。
• UNetとDBSNLは、それぞれ1.58dBおよび1.52dBのPSNR向上を達成。アーキテクチャを問わず一貫した性能向上が確認された。
• SIDDおよびDNDベンチマークの両方で最先端の性能を達成。既存の教師なし手法と比較して大幅な性能差を示した。
• アブレーションスタディにより、補完的制約を備えた並列ブランチの組み合わせが、訓練の安定性と最終的な性能を顕著に向上させることを確認した。