[論文レビュー] AP-BSN: Self-Supervised Denoising for Real-World Images via Asymmetric PD and Blind-Spot Network

Wooseok Lee, Sanghyun Son+1 more|arXiv (Cornell University)|Mar 22, 2022

Image and Signal Denoising Methods被引用数 4

ひとこと要約

本稿では、実世界のsRGB画像に対する自己教師付きノイズ除去フレームワークAP-BSNを提案する。この手法は、空間的相関を持つ実世界のノイズを解消するために非対称ピクセルシャッフルダウンサンプリング（AP）を用い、画像の詳細を保持する。訓練時と推論時に異なるPDストライド因子を適用することで、ペアデータが不要な状態でブラインドスポットネットワークが効果的に実世界の画像をノイズ除去可能となり、新規のランダム置換リファインメント（R³）後処理ステップにより最先端の性能を達成する。

ABSTRACT

Blind-spot network (BSN) and its variants have made significant advances in self-supervised denoising. Nevertheless, they are still bound to synthetic noisy inputs due to less practical assumptions like pixel-wise independent noise. Hence, it is challenging to deal with spatially correlated real-world noise using self-supervised BSN. Recently, pixel-shuffle downsampling (PD) has been proposed to remove the spatial correlation of real-world noise. However, it is not trivial to integrate PD and BSN directly, which prevents the fully self-supervised denoising model on real-world images. We propose an Asymmetric PD (AP) to address this issue, which introduces different PD stride factors for training and inference. We systematically demonstrate that the proposed AP can resolve inherent trade-offs caused by specific PD stride factors and make BSN applicable to practical scenarios. To this end, we develop AP-BSN, a state-of-the-art self-supervised denoising method for real-world sRGB images. We further propose random-replacing refinement, which significantly improves the performance of our AP-BSN without any additional parameters. Extensive studies demonstrate that our method outperforms the other self-supervised and even unpaired denoising methods by a large margin, without using any additional knowledge, e.g., noise level, regarding the underlying unknown noise.

研究の動機と目的

• ブラインドスポットネットワーク（BSN）のピクセル単位の独立性仮定を破る空間的相関を持つ実世界のノイズに対処する。
• 実世界のノイズにおけるピクセルシャッフルダウンサンプリング（PD）において、画像構造の保持とノイズの独立性のトレードオフを克服する。
• クリーン-ノイズペア、ノイズレベルのアノテーション、合成データを一切必要としない完全な自己教師付きフレームワークを開発する。
• 追加のパラメータを追加せずに、新たな後処理リファインメント戦略によりノイズ除去性能を向上させる。

提案手法

• 訓練時と推論時に異なるストライド因子を用いる非対称PD（AP）を導入し、ノイズの独立性と構造の保持を分離する。
• 訓練時にはPDを適用して空間的ノイズを非相関化し、推論時には小さなストライドを用いて細かな画像詳細を保持する。
• APモジュールをブラインドスポットネットワーク（BSN）に統合し、中央ピクセルへのアクセスなしに自己教師付きノイズ除去を可能にする。
• ランダム置換リファインメント（R³）を提案する。これは出力からランダムなパッチを抽出し、再構築されたバージョンに置き換えることで、テクスチャとエッジの一貫性を向上させる後処理技術である。
• クリーンリファレンスの監視や外部データを一切使用せずに、単一のノイズ画像上でエンドツーエンドにモデルを訓練する。
• SIDDおよびDNDベンチマークを用いて評価し、実世界および合成ノイズ分布の両方で堅牢性を示す。

実験結果

リサーチクエスチョン

• RQ1 クリーン-ノイズペアやノイズレベルのアノテーションに依存せずに、空間的相関を持つ実世界のノイズを効果的に処理できる自己教師付きノイズ除去モデルは構築可能か？
• RQ2 ストライド因子がノイズ非相関化と構造保持のトレードオフを生じる中で、ピクセルシャッフルダウンサンプリングをブラインドスポットネットワークに効果的に統合する方法は何か？
• RQ3 訓練時と推論時の非対称PD戦略は、対称PDに比べて自己教師付き実世界ノイズ除去においてより優れた性能を発揮するか？
• RQ4 R³のような後処理手法は、追加のパラメータや再訓練を必要とせず、ノイズ除去品質を向上させることができるか？
• RQ5 提案手法AP-BSNは、実世界ベンチマークにおいて最先端の自己教師付きおよびペアなしノイズ除去手法と比較してどのように優れているか？

主な発見

• AP-BSNはDNDベンチマークで最先端の性能を達成し、外部データやノイズレベル情報を利用しないにもかかわらず、既存の自己教師付きおよび一部のペアなし手法を大きく上回る。
• 提案された非対称PD（AP）は、ノイズ非相関化と構造保持のトレードオフを効果的に解消し、実世界画像における自己教師付き学習を可能にする。
• ランダム置換リファインメント（R³）は、ブロッキーなアーティファクトを低減し、テクスチャの詳細を向上させるため、視覚的品質が著しく向上するが、追加のパラメータや学習を必要としない。
• 高ISO条件下で撮影された実世界のsRGB画像において、AP-BSN + R³は、カメラ内ノイズ除去やSIDDで訓練された教師ありDnCNNモデルよりもシャープなエッジと優れたノイズ抑制を達成する。
• 本手法は多様な実世界のノイズ特性に強く一般化でき、デバイス固有またはシーン固有の適応を必要としない。
• 定量的評価では、AP-BSNはDNDベンチマークでPSNR > 32.5 dB、SSIM > 0.91を達成し、従来の自己教師付き手法よりもPSNRで1.5 dB以上優れている。