[論文レビュー] DGNet: Dynamic Gradient-Guided Network for Water-Related Optics Image Enhancement

Jingchun Zhou, Zongxin He+4 more|arXiv (Cornell University)|Dec 12, 2023

Image Enhancement Techniques被引用数 5

ひとこと要約

DGNetは、自己更新型の偽ラベルを用いて勾配を精緻化し、局所最適解から脱出する動的勾配ガイドドネットワークを提案する。また、チャネル結合推論に基づく特徴復元・再構成（FRR）モジュールと周波数ドメインスムージング（FRS）モジュールを統合し、ノイズやアーティファクトを低減する。UIEBデータセット上でPSNR 25.6 dB、SSIM 0.93を達成し、パラメータ数と推論コストが低く抑えられ、最先端の手法を上回る性能を発揮する。

ABSTRACT

Underwater image enhancement (UIE) is a challenging task due to the complex degradation caused by underwater environments. To solve this issue, previous methods often idealize the degradation process, and neglect the impact of medium noise and object motion on the distribution of image features, limiting the generalization and adaptability of the model. Previous methods use the reference gradient that is constructed from original images and synthetic ground-truth images. This may cause the network performance to be influenced by some low-quality training data. Our approach utilizes predicted images to dynamically update pseudo-labels, adding a dynamic gradient to optimize the network's gradient space. This process improves image quality and avoids local optima. Moreover, we propose a Feature Restoration and Reconstruction module (FRR) based on a Channel Combination Inference (CCI) strategy and a Frequency Domain Smoothing module (FRS). These modules decouple other degradation features while reducing the impact of various types of noise on network performance. Experiments on multiple public datasets demonstrate the superiority of our method over existing state-of-the-art approaches, especially in achieving performance milestones: PSNR of 25.6dB and SSIM of 0.93 on the UIEB dataset. Its efficiency in terms of parameter size and inference time further attests to its broad practicality. The code will be made publicly available.

研究の動機と目的

• 合成または低品質なペairedデータに依存する教師あり水中画像強調（UIE）手法の限界を解消すること。
• トレーニング中に動的に更新される偽ラベルを用いて、モデルの汎化性能と適応性を向上させること。
• 複雑な水中劣化状況におけるノイズ、モーションブラー、色歪みの影響を低減すること。
• 実世界の水中応用に適した、軽量で効率的なネットワークを構築すること。

提案手法

• 予測画像を用いて動的に偽ラベルを生成・更新し、損失関数の地形をガイドする動的勾配を生成する。
• チャネル結合推論（CCI）に基づく特徴復元・再構成（FRR）モジュールを導入し、特徴分布の復元と再構成を実現する。
• 固定重みのラプラシアン畳み込みを用いた周波数ドメインスムージング（FRS）モジュールを採用し、モーションノイズの低減と低周波アーティファクトの平滑化を図る。
• コントラストと光のバランスを保持するための新規損失項 $L_{d}^{ au}$ を導入し、グローバル最適解への収束を促進する。
• 再構成精度と視認品質のバランスを取るために、$L_1$、$L_{ssim}$、$L_{d}^{ au}$ などの複数の損失関数を組み合わせる。
• コントラスト制限付き自己適応ヒストグラム均等化（CLAHE）を用い、感度の高い偽ラベルを生成し、照度とコントラストの認識を強化する。

実験結果

リサーチクエスチョン

• RQ1 動的偽ラベル付けは、固定された参照監視を超えて、水中画像強調における汎化性と耐障害性を向上させ得るか？
• RQ2 複雑な水中劣化状況下で、ノイズとモーションアーティファクトを効果的に低減する方法は何か？
• RQ3 最小限のパラメータ数で、軽量なネットワークが水中画像強調（UIE）で最先端の性能を達成できる程度はどの程度か？
• RQ4 動的勾配ガイドが、局所最適解からの脱出を助け、収束性を向上させるか？
• RQ5 周波数ドメインスムージングと特徴再構成モジュールが共同で画像品質を向上させ、アーティファクトを低減できるか？

主な発見

• DGNetはUIEBデータセットでPSNR 25.6 dB、SSIM 0.93を達成し、先行するSOTA手法を顕著に上回った。
• Our-Lモデルは、Semi-UIR（CVPR’23）と比較してPSNRで5.4%、SSIMで3.1%の向上を達成し、パラメータ数は88.3%も削減された。
• FRSモジュールは、ベースラインのアブレーションと比較してPSNRが11.5 dB向上し、強力なアーティファクト低減効果を示した。
• $L_{d}^{ au}$ 損失項を導入することで、その欠如時と比較してPSNRが0.24 dB向上し、グローバル最適化を促進する役割を確認した。
• アブレーションスタディにより、FRRおよびFRSモジュールの両方が不可欠であることが確認され、FRRはPSNRを0.7 dB、SSIMを0.007向上させた。
• モデルはわずか0.7Mのパラメータで高い効率性を維持し、計算複雑性も低減されており、実用的デプロイメントに適している。