[論文レビュー] Wavelet-based Fourier Information Interaction with Frequency Diffusion Adjustment for Underwater Image Restoration

Zhao Chen, Weiling Cai+2 more|arXiv (Cornell University)|Nov 28, 2023

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、ウェーブレット周波数解析と拡散モデルを活用して画像品質を向上させる、新しい水中画像増強フレームワークWF-Diffを提案する。離散ウェーブレット変換を用いて画像を低周波数および高周波数サブバンドに分解することで、劣化成分を分離し、プラグアンドプレイ型の周波数リサイダル拡散調整モジュール（FRDAM）を用いて周波数別に最適化された精錬を実施する。実世界の水中データセットにおいて最先端の性能を達成している。

ABSTRACT

Underwater images are subject to intricate and diverse degradation, inevitably affecting the effectiveness of underwater visual tasks. However, most approaches primarily operate in the raw pixel space of images, which limits the exploration of the frequency characteristics of underwater images, leading to an inadequate utilization of deep models' representational capabilities in producing high-quality images. In this paper, we introduce a novel Underwater Image Enhancement (UIE) framework, named WF-Diff, designed to fully leverage the characteristics of frequency domain information and diffusion models. WF-Diff consists of two detachable networks: Wavelet-based Fourier information interaction network (WFI2-net) and Frequency Residual Diffusion Adjustment Module (FRDAM). With our full exploration of the frequency domain information, WFI2-net aims to achieve preliminary enhancement of frequency information in the wavelet space. Our proposed FRDAM can further refine the high- and low-frequency information of the initial enhanced images, which can be viewed as a plug-and-play universal module to adjust the detail of the underwater images. With the above techniques, our algorithm can show SOTA performance on real-world underwater image datasets, and achieves competitive performance in visual quality.

研究の動機と目的

• 従来の水中画像増強（UIE）手法が主にピクセル空間で動作しており、周波数ドメインの特性を十分に活用していないという限界に対処すること。
• 劣化成分の周波数ドメインにおける分布を調査し、特に色ずれが主に低周波数サブバンドに、テクスチャの損失が主に高周波数サブバンドに符号化されていることを特定すること。
• 周波数ドメイン解析と拡散モデルを統合した包括的なフレームワークを構築し、グローバルな色再現性とローカルなテクスチャディティールの両方を向上させること。
• 波ドメインにおける高周波数および低周波数成分の特定的精錬を可能にする、プラグアンドプレイ型モジュールFRDAMを設計すること。

提案手法

• フレームワークは、ウェーブレット空間における周波数ドメイン相互作用を実行し、低周波数および高周波数成分を別々に向上させるウェーブレットベースのフーリエ情報相互作用ネットワーク（WFI2-net）を採用する。
• WFI2-netは、低周波数および高周波数サブバンド間での情報交換を可能にするクロス周波数コンディショナー（CFC）を用いることで、表現学習を向上させる。
• 周波数リサイダル拡散調整モジュール（FRDAM）は、ウェーブレットドメインにおける拡散ベースのノイズ除去を実行し、低周波数および高周波数成分を独立して精錬することで、微細なディティールの回復と色ずれの是正を実現する。
• 構造的および意味的整合性を保つために、L1再構成損失、知覚的損失、アモルティチュードに敏感な損失を含むマルチ損失訓練戦略を採用する。
• 拡散プロセスはピクセル空間ではなくウェーブレットドメインで実行されるため、特定の周波数帯域に焦点を当てた精錬が可能となり、制御の利かないノイズサンプリングに起因するアーチファクトを低減できる。
• フレームワークはモジュラー構造である：WFI2-netが初期の増強を実行し、FRDAMはさらにディティール精錬のための汎用後処理モジュールとして機能する。

実験結果

リサーチクエスチョン

• RQ1 水中画像における劣化成分（色ずれ、ぼやけ、ノイズ）は、異なる周波数帯にどのように分布しているか？
• RQ2 ピクセル空間手法と比較して、ウェーブレットドメインにおける周波数解析は、劣化パターンの表現を向上させ得るか？
• RQ3 ピクセル空間ではなくウェーブレットドメインで拡散モデルを適用することで、より優れた修復品質とアーチファクト低減が達成できるか？
• RQ4 プラグアンドプレイ型の周波数特化拡散モジュール（FRDAM）は、高周波数および低周波数成分を独立して効果的に精錬でき、画像ディティールと色再現性を向上させ得るか？

主な発見

• アブレーションスタディにより、WFI2-netのすべての構成要素（SFFB、WTB、CFC）が不可欠であることが確認され、完全な構成でUIEBDにおいて21.87 PSNRおよび0.8622 SSIMを達成した。
• WFI2-netにすべての損失関数（Lh、Lrec、La、CFC）を組み込むことで最良の性能（21.87 PSNR、0.8622 SSIM）が得られ、それらの相乗効果が裏付けられた。
• FRDAMは顕著に性能を向上させた：低周波数および高周波数の両方の精錬を実施する完全なFRDAMは23.86 PSNRを達成し、標準的な拡散モデルを3 dB以上上回った。
• 視覚的結果から、FRDAMはアーチファクトと色ずれを効果的に低減するとともに、複雑な水中シーンにおいてもテクスチャディティールを強化していることが示された。
• 本手法はUIEBDおよびLSUIの両データセットで最先端の性能を達成し、FID（23.55）およびLPIPS（0.0820）の指標においても競争力のある結果を示した。
• ウェーブレットドメインにおける拡散アプローチ（FRDAM）はピクセル空間の拡散を上回り、ウェーブレットベースの精錬を用いることでPSNRが2.5 dB向上した。