[論文レビュー] CVF-SID: Cyclic multi-Variate Function for Self-Supervised Image Denoising by Disentangling Noise from Image

Reyhaneh Neshatavar, Mohsen Yavartanoo+2 more|arXiv (Cornell University)|Mar 24, 2022

Image and Signal Denoising Methods被引用数 9

ひとこと要約

CVF-SID は、ペairedのノイズあり・クリーンなデータを必要とせず、現実の sRGB 入力からクリーンな画像、信号依存性ノイズ、信号独立性ノイズを分離するための循環的多変数関数（CVF）を用いた自己教師あり画像ノイズ除去手法を提案する。自己教師あり損失関数とデータ拡張を活用することで、SIDDベンチマークで最先端の性能を達成し、ノイズ分布に関する事前の仮定なしに現実のノイズに一般化可能である。

ABSTRACT

Recently, significant progress has been made on image denoising with strong supervision from large-scale datasets. However, obtaining well-aligned noisy-clean training image pairs for each specific scenario is complicated and costly in practice. Consequently, applying a conventional supervised denoising network on in-the-wild noisy inputs is not straightforward. Although several studies have challenged this problem without strong supervision, they rely on less practical assumptions and cannot be applied to practical situations directly. To address the aforementioned challenges, we propose a novel and powerful self-supervised denoising method called CVF-SID based on a Cyclic multi-Variate Function (CVF) module and a self-supervised image disentangling (SID) framework. The CVF module can output multiple decomposed variables of the input and take a combination of the outputs back as an input in a cyclic manner. Our CVF-SID can disentangle a clean image and noise maps from the input by leveraging various self-supervised loss terms. Unlike several methods that only consider the signal-independent noise models, we also deal with signal-dependent noise components for real-world applications. Furthermore, we do not rely on any prior assumptions about the underlying noise distribution, making CVF-SID more generalizable toward realistic noise. Extensive experiments on real-world datasets show that CVF-SID achieves state-of-the-art self-supervised image denoising performance and is comparable to other existing approaches. The code is publicly available from https://github.com/Reyhanehne/CVF-SID_PyTorch .

研究の動機と目的

• ペアのノイズあり・クリーンなトレーニングデータが入手できない現実の画像ノイズ除去の課題に対処すること。
• ノイズ分布に関する制限的な仮定に依存するか、raw-RGB などの特定の画像フォーマットを必要とする既存の自己教師あり手法の限界を克服すること。
• ノイズ特性に関する事前の知識なしに、現実の sRGB 画像を対象とした一般化可能なノイズ除去フレームワークを開発すること。
• 新しい損失関数とデータ拡張を導入することで、ノイズあり画像のみを用いたエンドツーエンドの自己教師あり学習を可能にすること。
• 反復的精錬を通じてクリーンな画像と複数のノイズ成分を分離できるように、循環的多変数関数（CVF）を設計すること。

提案手法

• 入力を複数の成分（クリーン画像、信号依存性ノイズ、信号独立性ノイズ）に分解し、再結合してネットワークにフィードバックすることで反復的精錬を実現する循環的多変数関数（CVF）を導入する。
• 自己教師あり画像分離（SID）フレームワーク（CVF-SID）を設計し、一貫性、アイデンティティ、ゼロ活性化、正則化損失を活用して、教師なしラベルでネットワークを訓練する。
• 画像特徴を操作しながらもノイズ構造を保持するように、多様なトレーニングサンプルを生成する自己教師ありデータ拡張戦略を提案する。
• 信号依存性ノイズのモデル化に相関パラメータ γ を用い、アブレーションにより乗法的ノイズの場合に γ=1 で最適な性能が得られることを示した。
• 1回の順方向伝播の出力を次の入力として使用する循環アーキテクチャでネットワークを訓練し、各成分が反復的精錬によって洗練されることを保証する。
• 各ストリームが分離された成分（クリーン画像、信号依存性ノイズ、信号独立性ノイズ）を1つずつ予測するマルチストリームネットワークアーキテクチャを採用する。

(a)

実験結果

リサーチクエスチョン

• RQ1 ペアデータを一切使用しない自己教師ありフレームワークは、現実の sRGB 画像からクリーンな画像と複数のノイズ成分を効果的に分離できるか？
• RQ2 提案された循環的多変数関数（CVF）は、標準的なオートエンコーダーや順方向アーキテクチャと比較して、分離とノイズ除去性能をどのように向上させるか？
• RQ3 提案された自己教師ありデータ拡張戦略は、現実のデータセットにおけるモデルの一般化性と性能をどの程度向上させるか？
• RQ4 ノイズ分布が標準的な仮定（例：AWGN や純粋な乗法的ノイズ）から逸脱した場合、この手法はどの程度頑健か？
• RQ5 フレームワークは、標準的な sRGB 画像フォーマットに適用可能でありながら、自己教師あり画像ノイズ除去で最先端の性能を達成できるか？

主な発見

• CVF-SID は SIDD 検証データセットで PSNR 34.81、SSIM 0.944 を達成し、他のすべての自己教師ありおよび非教師あり手法を上回った。
• アイデンティティ損失（ℒid）は性能を著しく向上させるとともに、学習の安定化に寄与し、一貫性損失のみを用いたベースラインと比較して 1.14 dB の向上を示した。
• 提案されたデータ拡張戦略（セット B）は PSNR を 0.2 dB 向上させ、トレーニングの多様性を高める有効性を示した。
• アブレーションにより、相関パラメータ γ=1（純粋な乗法的ノイズ）が最良の性能をもたらすことが判明し、モデルがこの現実的で一般的なノイズ仮定下で最も効果的であることが示された。
• 視覚的結果では、CVF-SID はノイズ成分を効果的に分離しており、最小限のアーティファクトと細部の保持が可能である。これは、R2R や N2V のような手法がテクスチャを失うか、クリーンな画像を回復できないのとは対照的である。
• R2R とは異なり、この手法は raw-RGB 入力や事前学習済みのノイズレベル関数を必要としないため、現実の展開に向けより実用的である。

(b)