[論文レビュー] Unsupervised Image Denoising with Frequency Domain Knowledge

Nahyun Kim, Donggon Jang+3 more|arXiv (Cornell University)|Nov 29, 2021

Image and Signal Denoising Methods参考文献 48被引用数 4

ひとこと要約

本稿では、スペクトル識別器と周波数再構成損失を用いて周波数ドメインの知識を活用するGANベースの教師なし画像ノイズ除去手法を提案する。ペairedのクリーン/ノイジー画像データが不要であるにもかかわらず、合成および実世界のデータセットにおいて最先端の性能を達成している。ノイズが最も顕著に現れる高周波成分に焦点を当てることで、従来の教師なし手法を上回り、教師あり学習の性能に近づいた。

ABSTRACT

Supervised learning-based methods yield robust denoising results, yet they are inherently limited by the need for large-scale clean/noisy paired datasets. The use of unsupervised denoisers, on the other hand, necessitates a more detailed understanding of the underlying image statistics. In particular, it is well known that apparent differences between clean and noisy images are most prominent on high-frequency bands, justifying the use of low-pass filters as part of conventional image preprocessing steps. However, most learning-based denoising methods utilize only one-sided information from the spatial domain without considering frequency domain information. To address this limitation, in this study we propose a frequency-sensitive unsupervised denoising method. To this end, a generative adversarial network (GAN) is used as a base structure. Subsequently, we include spectral discriminator and frequency reconstruction loss to transfer frequency knowledge into the generator. Results using natural and synthetic datasets indicate that our unsupervised learning method augmented with frequency information achieves state-of-the-art denoising performance, suggesting that frequency domain information could be a viable factor in improving the overall performance of unsupervised learning-based methods.

研究の動機と目的

• クリーン画像とノイジー画像の周波数ドメインにおける重要な統計的差異を捉えられていない、空間ドメイン情報に依存する教師なし画像ノイズ除去手法の限界を解消する。
• 大規模なペアド・クリーン/ノイジー画像データセットに依存する教師あり手法の課題を克服する。このようなデータセットはしばしば入手困難または収集に費用がかかる。
• ノイズが主に高周波帯域に集中しているのに対し、意味的コンテンツは低周波帯域に存在することを活用し、ノイズ除去をガイドする。
• 周波数ドメインの事前知識をGANベースのアーキテクチャに統合する新しいフレームワークを提案し、画像品質と知覚的妥当性を向上させる。
• 周波数ドメイン情報が教師なしノイズ除去性能を顕著に向上させられることを実証し、教師あり手法と同等の性能を達成可能であることを示す。

提案手法

• 教師なし画像ノイズ除去のベースアーキテクチャとして生成的敵対ネットワーク（GAN）を採用し、生成器がノイジー画像をノイズ除去済み出力にマッピングする。
• フーリエドメインの高周波帯域において、クリーン画像とノイズ除去済み画像を区別するスペクトル識別器を導入する。
• ノイズ除去画像のフーリエ変換とクリーンリファレンス画像のフーリエ変換との差を最小化する周波数再構成損失を組み込む。
• 周波数再構成損失とサイクル整合性損失を組み合わせ、画像コンテンツの保持と再構成忠実度の向上を図る。
• 生成器をスペクトル識別器に欺かせつつ、周波数ドメイン再構成誤差を最小化するように学習させ、高周波ノイズの除去に集中させる。
• テクスチャ識別器を用いて細部や輪郭を保持し、知覚的品質とSSIMを向上させるが、周波数ドメインの整合性にやや悪影響を及ぼすトレードオフがある。

実験結果

リサーチクエスチョン

• RQ1 周波数ドメイン、特に高周波帯域の差異を効果的に活用することで、教師なし画像ノイズ除去の性能向上が可能か？
• RQ2 スペクトル識別器と周波数再構成損失をGANフレームワークに統合することで、空間ドメインのみの学習に比べてより優れたノイズ除去性能が得られるか？
• RQ3 周波数事前知識を用いた教師なし手法が、ペアデータで学習された教師あり手法と同等の性能を達成できるか？
• RQ4 スペクトル識別器と周波数再構成損失が、空間ドメインと周波数ドメインの忠実度のバランスに個別および共同でどのように影響を与えるか？
• RQ5 本手法は、合成の加法性白色ガウスノイズに加え、実世界のノイズパターンに対してもロバストであるか？

主な発見

• SIDDデータセットにおいて、本手法はPSNR 34.30 dB、SSIM 0.9334を達成し、すべての教師なしベースラインを上回り、教師あり手法に近い性能を示した。
• スペクトル識別器単体でもPSNRが0.2 dB向上し、LFD（周波数ドメイン距離）が6.5955から6.5649に低下し、高周波帯域におけるノイズ除去の有効性が確認された。
• 周波数再構成損失を追加すると、アブレーションスタディでLFDが6.5795に低下し、PSNRが26.03 dB、SSIMが0.8375に上昇し、空間ドメインと周波数ドメイン再構成のバランスを取る役割が明らかになった。
• テクスチャ識別器はSSIMを0.0041（0.8375に）向上させたが、LFDはわずかに上昇させた。これは、空間的細部の保持と周波数ドメインの整合性の間のトレードオフを示している。
• すべてのコンponents（スペクトル識別器、テクスチャ識別器、周波数再構成損失）を統合した完全なモデルが、最小のLFDと最高のPSNR/SSIMを達成し、最良の総合的性能を示した。
• 定性的な結果から、本手法は強いノイズを効果的に除去しながら、色や細かなテクスチャを保持できており、CBM3D、RedNet-30、DIP、LIRを上回る視覚的品質を達成した。