[論文レビュー] USLN: A statistically guided lightweight network for underwater image enhancement via dual-statistic white balance and multi-color space stretch

Ziyuan Xiao, Yina Han+2 more|arXiv (Cornell University)|Sep 6, 2022

Image Enhancement Techniques被引用数 11

ひとこと要約

本稿では、二重統計ホワイトバランスとマルチカラースペースヒストグラムストレッチを用いて色歪みと低コントラストを補正する、軽量な水中画像強調ネットワークUSLNを提案する。高次元特徴の学習に依存せず、ピクセル値に直接統計的事前知識を適用することで、たった894のトレーニング可能なパラメータで最先端の性能を達成する。

ABSTRACT

Underwater images are inevitably affected by color distortion and reduced contrast. Traditional statistic-based methods such as white balance and histogram stretching attempted to adjust the imbalance of color channels and narrow distribution of intensities a priori thus with limited performance. Recently, deep-learning-based methods have achieved encouraging results. However, the involved complicate architecture and high computational costs may hinder their deployment in practical constrained platforms. Inspired by above works, we propose a statistically guided lightweight underwater image enhancement network (USLN). Concretely, we first develop a dual-statistic white balance module which can learn to use both average and maximum of images to compensate the color distortion for each specific pixel. Then this is followed by a multi-color space stretch module to adjust the histogram distribution in RGB, HSI, and Lab color spaces adaptively. Extensive experiments show that, with the guidance of statistics, USLN significantly reduces the required network capacity (over98%) and achieves state-of-the-art performance. The code and relevant resources are available at https://github.com/deepxzy/USLN.

研究の動機と目的

• 固定ルールを適用する従来の統計ベースの手法の限界を解決する。これらの手法は、色歪みのピクセル単位の変動に適応できない。
• 既存の深層学習モデルが水中画像強調に与える高コストで複雑な計算負荷を克服する。これにより、リソース制約のあるプラットフォームへのデプロイが可能になる。
• グレイワールドやホワイトパッチといった統計的事前知識を、学習可能な軽量なニューラルアーキテクチャに統合し、強調のロバスト性と効率性を向上させる。
• 既存の最先端手法と比べてモデルサイズを大幅に削減しながら、画像品質指標（PSNR、SSIM）で最先端の性能を達成する。

提案手法

• 各画像の平均値と最大強度値を用いて色チャネルを学習的に調整する二重統計ホワイトバランスモジュールを提案。これにより、ピクセル単位の適応的色補正が可能になる。
• RGB、HSI、Lab色空間でヒストグラム分布を適応的に調整するマルチカラースペースストレッチモジュールを導入。コントラストを向上させつつ、色の自然さを保持する。
• 3次元色空間におけるピクセル値に直接処理を行う軽量なネットワークアーキテクチャを設計。複雑な特徴抽出を回避し、パラメータ数を1,000未満に削減する。
• Tanh活性化関数を用いた残差強調モジュールを統合。画像の忠実性を保持し、過剰強調を防ぎ、視覚的リアリズムを向上させる。
• MAE、VGGの知覚的損失、SSIMを組み合わせた損失関数を用い、ピxlsレベルの正確さと知覚的品質の両方を最適化する。
• 複雑なバックボーンや事前学習を必要とせず、多様な水中画像データセットを用いた教師あり学習で、エンドツーエンドにネットワークを訓練する。

実験結果

リサーチクエスチョン

• RQ1 統計的事前知識を用いてピクセル値を直接操作する軽量なニューラルネットワークが、複雑な深層学習モデルを上回る水中画像強調性能を達成できるか？
• RQ2 平均値と最大強度統計の組み合わせは、多様な水中シーンにおいて色バランスを向上させるのにどの程度効果的か？
• RQ3 RGB、HSI、Lab色空間におけるマルチカラースペースヒストグラムストレッチは、単一空間やチャネル単位のストレッチに比べ、コントラストと色再構成をどれほど向上させるか？
• RQ4 1,000パラメータ未満のモデルが、標準ベンチマークでPSNRとSSIMにおいて最先端の性能を達成できるか？
• RQ5 各モジュール（二重統計WB、マルチスペースストレッチ、残差モジュール、損失関数）が最終的な強調品質に果たす寄与度はどの程度か？

主な発見

• USLNはUIEB、Uimaginet、UFOデータセットで最先端の性能を達成し、PSNRが23.78、SSIMが0.92を記録。パラメータ数がはるかに多いモデルを上回る。
• アブレーションスタディにより、平均値と最大強度統計の両方が効果的な色補正に不可欠であることが確認された。両方を削除すると、PSNRはそれぞれ60以上、180以上低下する。
• マルチカラースペースストレッチモジュールは、HSI空間のSおよびIチャネルを用いる際に最も性能向上を示した。一方、すべてのHSIチャネルを追加すると結果が劣化し、チャネルごとの最適化が重要であることが示された。
• Tanh活性化関数を備えた残差強調モジュールは、過剰強調を防ぎ、自然な色を保持する。例えば、水生植物の緑を回復させるが、その欠如によりグレー色に歪んだ不自然な出力が生じる。
• MAE + VGG知覚的損失 + SSIMの組み合わせ損失関数が最良の視覚的品質をもたらした。SSIM損失は構造的類似性を向上させ、知覚的損失はリアリズムを強化した。
• わずか894パラメータの極めて小型なモデルであるにもかかわらず、USLNはUcolor（148.77Mパラメータ）やFUnIE-GAN（7.02Mパラメータ）といった大規模モデルをPSNRおよびSSIMの両面で上回り、高い効率性と有効性を示した。