[論文レビュー] UIEC^2-Net: CNN-based Underwater Image Enhancement Using Two Color Space

Yudong Wang, Jichang Guo+2 more|arXiv (Cornell University)|Mar 12, 2021

Image Enhancement Techniques参考文献 58被引用数 16

ひとこと要約

本稿では、RGBおよびHSV色彩空間を併用することで性能を向上させる新しいCNNベースの水中画像強調手法、UIEC^2-Netを提案する。ピクセル単位のRGBブロックによるノイズ除去と色ずれの除去、ニューラルカーブ層を用いたランプと彩度の微調整を実行するグローバル調整HSVブロック、およびアテンションマップブロックによるアダプティブな特徴統合を組み合わせることで、合成および実世界のデータセットにおいて主観的・客観的評価の両面で最先端の結果を達成した。

ABSTRACT

Underwater image enhancement has attracted much attention due to the rise of marine resource development in recent years. Benefit from the powerful representation capabilities of Convolution Neural Networks(CNNs), multiple underwater image enhancement algorithms based on CNNs have been proposed in the last few years. However, almost all of these algorithms employ RGB color space setting, which is insensitive to image properties such as luminance and saturation. To address this problem, we proposed Underwater Image Enhancement Convolution Neural Network using 2 Color Space (UICE^2-Net) that efficiently and effectively integrate both RGB Color Space and HSV Color Space in one single CNN. To our best knowledge, this method is the first to use HSV color space for underwater image enhancement based on deep learning. UIEC^2-Net is an end-to-end trainable network, consisting of three blocks as follow: a RGB pixel-level block implements fundamental operations such as denoising and removing color cast, a HSV global-adjust block for globally adjusting underwater image luminance, color and saturation by adopting a novel neural curve layer, and an attention map block for combining the advantages of RGB and HSV block output images by distributing weight to each pixel. Experimental results on synthetic and real-world underwater images show the good performance of our proposed method in both subjective comparisons and objective metrics. The code are available at https://github.com/BIGWangYuDong/UWEnhancement.

研究の動機と目的

• 既存のCNNベースの水中画像強調手法がRGB色彩空間に依存するため、輝度および彩度特性を十分に捉えられないという限界を解消すること。
• 特に明るさや彩度のグローバル調整に適したHSV色彩空間の深層学習ベースの水中画像強調における可能性を検証すること。
• エンドツーエンドで学習可能なアテンションメカニズムを用いて、RGBおよびHSV処理の長所を効果的に統合するハイブリッドネットワークアーキテクチャを設計すること。
• 特に色ずれや低コントラストといった困難な条件下でも、被観測品質および定量的画像品質指標の両方を向上させること。
• マルチ色彩空間学習を用いた水中画像の色彩補正および強調分野における今後の研究の新しいベンチマークを提供すること。

提案手法

• スキップ接続やプーリングを用いないシンプルな完全畳み込み型RGBピクセルレベルブロックを採用し、ノイズ除去や色ずれの除去といった局所的処理に焦点を当てる。
• 独自のHSVグローバル調整ブロックは、HSV空間における輝度および彩度のグローバル調整カーブを学習するニューラルカーブ層を適用し、より表現力豊かな画像特性の微調整を可能にする。
• RGBブランチとHSVブランチの出力を動的に統合するために、ピクセルごとの空間的重みを学習するアテンションマップブロックを導入し、特徴統合を強化する。
• アテンションメカニズムによりRGBおよびHSV特徴の適応的重み付けが可能となるように、知覚的損失と再構成損失の組み合わせでエンドツーエンドに学習を行う。
• モデルはMSE損失で最適化され、PSNR、SSIM、UCIQE、UIQMといったフルリファレンスおよびノーリファレンス指標を用いて評価される。
• 軽量かつ効率的なアーキテクチャとして設計されており、アブレーションスタディにより各コンponentの寄与度が確認されている。

実験結果

リサーチクエスチョン

• RQ1 深層学習ベースの水中画像強調フレームワークにHSV色彩空間を統合することで、RGBオンリーメソッドに比べて性能が向上するか？
• RQ2 HSV空間におけるニューラルカーブ層の使用が、水中画像におけるグローバルな輝度および彩度調整にどのように寄与するか？
• RQ3 アテンションマップブロックがRGBおよびHSV特徴出力の統合をどの程度向上させ、より優れた視覚的・定量的結果をもたらすか？
• RQ4 提案手法は、実世界および合成水中画像において、主観的および客観的画像品質評価の両面で、既存の最先端手法を上回るか？
• RQ5 HSVグローバル調整ブロックおよびアテンションマップブロックの具体的な貢献は、色ずれの低減および画像ディテールの保持にどの程度寄与するか？

主な発見

• UIEC^2-Netは、実世界の水中画像において最高のPSNR（24.5663 dB）およびSSIM（0.9346）を達成し、全比較手法を上回った。
• UCIQEスコアは最低の0.6193、UIQMスコアは最高の4.0790を記録し、色彩、コントラスト、シャープネス評価において優れた性能を示した。
• アブレーションスタディにより、HSVグローバル調整ブロックを削除すると性能が著しく低下し、PSNRは23.8228 dB、SSIMは0.92849に低下した。
• アテンションマップブロックは、HSVブロックによる過剰処理のアーティファクト（コントラストおよび彩度の低下）を軽減し、ノイズを抑制することで視覚的品質を向上させた。
• UIQMおよびUISMスコアにおいて、元のリファレンス画像を上回ったことから、元の画像を上回る被観測品質の向上が示された。
• 視覚的結果から、背景の色ずれの効果的な除去および複雑な水中シーンにおける微細なテクスチャやディテールの良好な保持が確認された。