[論文レビュー] PUCA: Patch-Unshuffle and Channel Attention for Enhanced Self-Supervised Image Denoising

Hyemi Jang, Junsung Park+4 more|arXiv (Cornell University)|Oct 16, 2023

Image and Signal Denoising Methods被引用数 7

ひとこと要約

PUCAは、$Σ$-不変なダウンサンプリング/アップサンプリングのためのパッチアンシャッフル/シャッフルと、グローバルなコンテキストモデリングのための拡張注意ブロック（DABs）を導入することで、自己教師あり画像ノイズ除去のための新規な$Σ$-不変U-Netアーキテクチャを提案する。SIDDにおいて最先端の性能を達成し、PSNR 31.11 dB、SSIM 0.798を記録した。

ABSTRACT

Although supervised image denoising networks have shown remarkable performance on synthesized noisy images, they often fail in practice due to the difference between real and synthesized noise. Since clean-noisy image pairs from the real world are extremely costly to gather, self-supervised learning, which utilizes noisy input itself as a target, has been studied. To prevent a self-supervised denoising model from learning identical mapping, each output pixel should not be influenced by its corresponding input pixel; This requirement is known as J-invariance. Blind-spot networks (BSNs) have been a prevalent choice to ensure J-invariance in self-supervised image denoising. However, constructing variations of BSNs by injecting additional operations such as downsampling can expose blinded information, thereby violating J-invariance. Consequently, convolutions designed specifically for BSNs have been allowed only, limiting architectural flexibility. To overcome this limitation, we propose PUCA, a novel J-invariant U-Net architecture, for self-supervised denoising. PUCA leverages patch-unshuffle/shuffle to dramatically expand receptive fields while maintaining J-invariance and dilated attention blocks (DABs) for global context incorporation. Experimental results demonstrate that PUCA achieves state-of-the-art performance, outperforming existing methods in self-supervised image denoising.

研究の動機と目的

• 合成ノイズと実世界ノイズのドメインギャップにより、従来の自己教師あり画像ノイズ除去モデルが実世界ノイズに対して失敗するという限界に対処する。
• $Σ$-不変性を維持するために中央にマスクされた畳み込みと拡張畳み込みに限定される盲点ネットワーク（BSNs）のアーキテクチャ的拘束を克服する。
• $Σ$-不変なダウンサンプリング/アップサンプリング機構を導入することで、自己教師ありノイズ除去における柔軟なU-Netベースアーキテクチャの実現を可能にする。
• 新規な$Σ$-不変チャネルアテンション機構を通じて、長距離特徴学習とグローバルコンテキスト統合を強化する。

提案手法

• パッチアンシャッフル/シャッフルを提案。これは特徴マップを重複のないパッチに再編成し、それらを並び替えることで、$Σ$-不変なダウンサンプリング/アップサンプリングを実現する。これにより、マルチスケール表現と拡大された受容フィールドが可能になる。
• 拡張注意ブロック（DABs）を導入。これは、サブサンプルされた特徴からグローバルな空間的コンテキストに注目する$Σ$-不変なチャネルアテンション機構であり、拡張畳み込みを用いて実装される。
• パッチアンシャッフルとDABsをU-Netアーキテクチャに統合することで、スキップ接続と階層的特徴学習を維持しながら$Σ$-不変性を保持する。
• 中央にマスクされた畳み込みとパッチアンシャッフルの構造的設計を用いて、各出力画素が対応する入力画素に影響されないようにすることで、$Σ$-不変性を確保する。
• クリアなノイズペアを必要とせず、ノイズ画像のみを用いて自己教師ありでモデルを学習する。
• パッチアンシャッフルから得られるサブサンプル特徴のアンサンブルを活用し、DABsにおけるアテンション統合によってノイズ抑制を強化する。

実験結果

リサーチクエスチョン

• RQ1 自己教師ありノイズ除去モデルは、$Σ$-不変性を維持するとともに、基本的なBSN層を越えたアーキテクチャの柔軟性を実現できるか？
• RQ2 $Σ$-不変性制約に反しない形で、マルチスケール表現と大きな受容フィールドを$Σ$-不変ネットワークに効果的に統合できるか？
• RQ3 グローバルにプールされたサブサンプル特徴に作用するチャネルアテンション機構は、自己教師ありノイズ除去におけるノイズ抑制をどの程度向上できるか？
• RQ4 パッチアンシャッフルと拡張注意ブロックの組み合わせは、既存の自己教師ありまたはペairなしノイズ除去手法に比べて、実世界のノイズ画像においてより優れた性能を発揮するか？

主な発見

• PUCAはSIDDバリデーションセットにおいてPSNR 31.11 dB、SSIM 0.798を達成し、AP-BSN（29.46 dB、0.782）やDnCNN（27.65 dB、0.624）といった既存の自己教師あり手法を上回った。
• 提案されたパッチアンシャッフル/シャッフル技術は、$Σ$-不変ネットワークにおけるダウンサンプリングとアップサンプリングを成功裏に実現し、受容フィールドを拡大するとともに、マルチスケール特徴学習を可能にした。
• 拡張注意ブロック（DABs）は、サブサンプルされたパッチからの特徴に注目することで、グローバルコンテキストを効果的に統合し、ノイズ抑制と特徴表現の向上に寄与した。
• PUCAは実世界のノイズ画像において優れた一般化性能を示し、クリアなノイズペアで学習された教師ありモデルと同等の性能を達成した。
• アーキテクチャ設計により$Σ$-不変性を維持し、アイデンティティマッピングを防ぎつつ、複雑で柔軟なU-Net構造を実現した。
• 性能向上にもかかわらず、ネットワークの深さが多すぎるとグローバルな意味論が劣化する傾向を示しており、深さと意味的忠実度のトレードオフが生じていることがわかった。