[論文レビュー] Blind2Unblind: Self-Supervised Image Denoising with Visible Blind Spots

Zejin Wang, Jiazheng Liu+2 more|arXiv (Cornell University)|Mar 14, 2022

Image and Signal Denoising Methods被引用数 13

ひとこと要約

Blind2Unblind は、グローバルに注意を払うマスクマッパーと再可視化損失を導入することで、ブラインドスポットベース手法における情報損失を解消する自己教師あり画像ノイズ除去フレームワークを提案する。これにより、アイデンティティマッピングを必要とせず、ノイズの強い入力画像に対してエンドツーエンドの学習が可能になる。本手法は、合成データおよび実世界のデータセットにおいて最先端の性能を達成しており、特に複雑なノイズパターン下でも優れた性能を示す。

ABSTRACT

Real noisy-clean pairs on a large scale are costly and difficult to obtain. Meanwhile, supervised denoisers trained on synthetic data perform poorly in practice. Self-supervised denoisers, which learn only from single noisy images, solve the data collection problem. However, self-supervised denoising methods, especially blindspot-driven ones, suffer sizable information loss during input or network design. The absence of valuable information dramatically reduces the upper bound of denoising performance. In this paper, we propose a simple yet efficient approach called Blind2Unblind to overcome the information loss in blindspot-driven denoising methods. First, we introduce a global-aware mask mapper that enables global perception and accelerates training. The mask mapper samples all pixels at blind spots on denoised volumes and maps them to the same channel, allowing the loss function to optimize all blind spots at once. Second, we propose a re-visible loss to train the denoising network and make blind spots visible. The denoiser can learn directly from raw noise images without losing information or being trapped in identity mapping. We also theoretically analyze the convergence of the re-visible loss. Extensive experiments on synthetic and real-world datasets demonstrate the superior performance of our approach compared to previous work. Code is available at https://github.com/demonsjin/Blind2Unblind.

研究の動機と目的

• ブラインドスポット駆動の自己教師ありノイズ除去における情報損失を是正することで、性能の上限を引き上げること。
• 自己教師ありノイズ除去において、ノイズの事前知識、アイデンティティマッピング、またはサブサンプリングに依存しないようにすること。
• 再可視化損失を通じてブラインドスポットを「可視化」することで、完全なノイズの強い画像に対する学習を可能にすること。
• グローバルに注意を払うマスクマッパーを用いて、ブラインドスポットノイズ除去における収束速度の向上とグローバル最適化の改善を図ること。
• 提案された再可視化損失の理論的収束バウンダリーを提供すること。

提案手法

• ブラインドスポットにおける特徴量をサンプリングし、それを共有チャネルに投影することでグローバル最適化を可能にするグローバルに注意を払うマスクマッパーを導入する。
• マスクされた画像を勾配の媒体として用いることで、ノイズの強い入力画像から直接学習可能な再可視化損失を採用する。
• マスク入力に対するブラインドスポット損失と、元の入力に対する可視化損失の二重損失戦略を採用し、それらの間を正則化された遷移でつなぐ。
• 各画像を固定されたブラインドスポットを持つブロックに分割するマスク駆動型サンプリング方式を適用し、バッチ処理用のグローバルマスクボリュームを構築する。
• 理論的分析により、再可視化損失が収束に関して明確な上限と下限を有することが示された。
• アーキテクチャの変更なしに、先進的なノイズ除去アーキテクチャのプラグイン利用をサポートする。

実験結果

リサーチクエスチョン

• RQ1 マスク領域からの情報回復によって、ブラインドスポットノイズ除去を完全に損失のないものにできるか？
• RQ2 アイデンティティマッピングやノイズ事前知識なしに、ノイズの強い入力画像に対して自己教師ありノイズ除去を学習できるか？
• RQ3 ブラインドスポットと非ブラインドノイズ除去を接続する再可視化損失の収束特性はいかなるものか？
• RQ4 グローバルに注意を払うマスクマッパーは、ブラインドスポットノイズ除去における学習の高速化と性能向上を図れるか？
• RQ5 提案手法は、実世界のノイズパターンにおいて、従来の自己教師ありアプローチよりも一般化性能に優れているか？

主な発見

• Kodak データセットにおけるガウスノイズ（σ=25）の下で、Blind2Unblind は 32.27 dB の PSNR を達成し、次に優れた手法よりも 0.9 dB 高い性能を示した。
• ポissonノイズ（λ=30）の下では 31.64 dB の PSNR を達成し、ランダムマスクベースのベースライン（29.89 dB）を著しく上回り、複雑なノイズに対して強いロバストネスを示した。
• λf=20 および η=1 の再可視化損失が最適な性能を発揮した。λf や η の値が高くなると性能が劣化するため、ハイパーパramータチューニングの重要性が裏付けられた。
• グローバルに注意を払うマスクマッパー（GM）は、ノイズタイプにかかわらず平均で 1.9 dB の性能向上を達成した。一方、ランダムマスク（RM）は再可視化損失と組み合わせた場合、収束に失敗した。
• アブレーション実験では、正則化項（η）が学習を安定化させ、すべてのノイズパターンで η=1 の場合が最良の性能を示した。
• 挑戦的な σ∈[5,50] のガウスノイズベンチマークでは 32.34 dB の PSNR を達成し、変動するノイズレベルに対しても強い一般化性能を示した。