[論文レビュー] IDR: Self-Supervised Image Denoising via Iterative Data Refinement

Yi Zhang, Dasong Li+4 more|arXiv (Cornell University)|Nov 29, 2021

Image and Signal Denoising Methods被引用数 5

ひとこと要約

本稿では、ノイズモデルと段階的に改善される学習ターゲットを用いて、ノイズのある画像を繰り返し精錬する自己教師付き画像ノイズ除去手法IDRを提案する。実世界のノイズ、合成ノイズ、相関ノイズのすべてにおいて最先端の性能を達成し、クリアな画像ペアを必要としない。この手法は、既存の非教師あり手法を上回り、繰り返し精錬によるデータ分布バイアスの低減により、一部の教師あり手法でさえも上回る性能を発揮する。

ABSTRACT

The lack of large-scale noisy-clean image pairs restricts supervised denoising methods' deployment in actual applications. While existing unsupervised methods are able to learn image denoising without ground-truth clean images, they either show poor performance or work under impractical settings (e.g., paired noisy images). In this paper, we present a practical unsupervised image denoising method to achieve state-of-the-art denoising performance. Our method only requires single noisy images and a noise model, which is easily accessible in practical raw image denoising. It performs two steps iteratively: (1) Constructing a noisier-noisy dataset with random noise from the noise model; (2) training a model on the noisier-noisy dataset and using the trained model to refine noisy images to obtain the targets used in the next round. We further approximate our full iterative method with a fast algorithm for more efficient training while keeping its original high performance. Experiments on real-world, synthetic, and correlated noise show that our proposed unsupervised denoising approach has superior performances over existing unsupervised methods and competitive performance with supervised methods. In addition, we argue that existing denoising datasets are of low quality and contain only a small number of scenes. To evaluate raw image denoising performance in real-world applications, we build a high-quality raw image dataset SenseNoise-500 that contains 500 real-life scenes. The dataset can serve as a strong benchmark for better evaluating raw image denoising. Code and dataset will be released at https://github.com/zhangyi-3/IDR

研究の動機と目的

• 実世界の応用において、大規模なノイズあり／クリアな画像ペアが不足している問題に対処すること。
• ペアのノイズ画像を必要とする非現実的なデータ設定を除いて、既存の非教師ありノイズ除去手法の限界を克服すること。
• 単一のノイズあり画像とノイズモデルのみを用いる実用的で自己教師付きのノイズ除去フレームワークを構築すること。これは、実際のロウ画像処理において一般的である。
• 合成ノイズあり／ノイズありデータセットと実際のノイズあり／クリアなデータ間の分布シフト（データバイアス）を、繰り返し精錬によって低減すること。
• より信頼性の高い評価を可能にするために、実世界のロウ画像ノイズ除去のための高品質なベンチマークデータセットを構築すること。

提案手法

• 既存のノイズあり画像に既知のノイズモデルから合成ノイズを追加することで、ノイズがより強いノイズあり／ノイズありデータセットを構築し、その結果得られた画像を入力とし、元のノイズあり画像をターゲットとみなす。
• ノイズ除去ネットワークをノイズがより強いノイズあり／ノイズありデータセット上で学習させ、そのネットワークを用いて元のノイズあり画像をノイズ除去し、次の反復のための精錬済みターゲットを生成する。
• 繰り返しのプロセスにより、合成学習分布と理想のクリア／ノイズあり分布との間のデータバイアスが低減され、モデル性能が段階的に向上する。
• 効率性を向上させるために、各反復における学習エポック数を削減することで、高速版のIDRを提案する。
• ノイズがより強いノイズあり／ノイズありデータで学習したモデルが、実際のノイズあり画像のノイズ除去に一般化できることを、経験的に利用する。
• 500の多様な低照度シーンと高忠実度の真値を備えた、高品質なロウ画像ノイズ除去データセットSenseNoise-500を構築する。

実験結果

リサーチクエスチョン

• RQ1 分布シフトが存在するにもかかわらず、合成ノイズがより強いノイズあり／ノイズありペアで学習したノイズ除去モデルが、実際のノイズあり画像に一般化可能か？
• RQ2 モデルの予測によってターゲットを繰り返し精錬することで、データバイアスが低減され、ノイズ除去性能が向上するか？
• RQ3 単一のノイズあり画像とノイズモデルのみを用いた自己教師付きノイズ除去が、教師あり手法と同等の性能を達成可能か？
• RQ4 同じノイズモデルを用いて合成データで学習した場合、非教師ありノイズ除去手法と教師あり手法の性能はどのように比較されるか？
• RQ5 データセットのコンテンツバイアスが、教師ありと非教師ありノイズ除去手法の性能差に及ぼす影響はどの程度か？

主な発見

• IDRは、実世界および合成ノイズの両方において、既存の非教師ありノイズ除去手法を上回り、ストライプや乗法的ノイズを含む相関ノイズタイプに対しても優れた性能を示す。
• SIDロウデータセットにおいて、IDRは平均PSNR 34.17 dBを達成し、未処理のsRGB画像で学習した教師あり手法（34.68 dB）を上回るが、これは自己教師学習のみを用いている。
• 高品質でコンテンツが一致した学習データを用いることで、非教師ありと教師あり手法の性能差は依然として存在するが、顕著に縮小される。
• 繰り返し精錬プロセスは、データ分布バイアスを効果的に低減し、各ラウンドで段階的に性能が向上するノイズ除去モデルを生成する。
• 500の実生活のシーンと整合された真値を備えた高品質なデータセットSenseNoise-500は、実世界のロウ画像ノイズ除去の評価に向けた堅牢なベンチマークを提供する。
• 定性的な結果では、IDRが特に低照度条件下でより多くのテクスチャーや色を回復させつつ、高いノイズ除去品質を維持していることが示されている。