[論文レビュー] Single Underwater Image Enhancement Using an Analysis-Synthesis Network

Zhengyong Wang, Liquan Shen+3 more|arXiv (Cornell University)|Aug 20, 2021

Image Enhancement Techniques参考文献 36被引用数 9

ひとこと要約

本稿では、分析・合成ネットワークを用いて学習された事前知識とデータ駆動特徴を統合する、新たな水中画像増強フレームワークANA-SYNを提案する。より現実的な水中データセットを再現するための改訂された環境光合成式を導入し、アダプティブ重み付けモジュールと事前知識ガイドランスネットワークを採用することで、合成および実世界のベンチマークの両方で最先端の性能を達成し、自然な画像品質を維持したまま、色補正と霞み除去を顕著に改善した。

ABSTRACT

Most deep models for underwater image enhancement resort to training on synthetic datasets based on underwater image formation models. Although promising performances have been achieved, they are still limited by two problems: (1) existing underwater image synthesis models have an intrinsic limitation, in which the homogeneous ambient light is usually randomly generated and many important dependencies are ignored, and thus the synthesized training data cannot adequately express characteristics of real underwater environments; (2) most of deep models disregard lots of favorable underwater priors and heavily rely on training data, which extensively limits their application ranges. To address these limitations, a new underwater synthetic dataset is first established, in which a revised ambient light synthesis equation is embedded. The revised equation explicitly defines the complex mathematical relationship among intensity values of the ambient light in RGB channels and many dependencies such as surface-object depth, water types, etc, which helps to better simulate real underwater scene appearances. Secondly, a unified framework is proposed, named ANA-SYN, which can effectively enhance underwater images under collaborations of priors (underwater domain knowledge) and data information (underwater distortion distribution). The proposed framework includes an analysis network and a synthesis network, one for priors exploration and another for priors integration. To exploit more accurate priors, the significance of each prior for the input image is explored in the analysis network and an adaptive weighting module is designed to dynamically recalibrate them. Meanwhile, a novel prior guidance module is introduced in the synthesis network, which effectively aggregates the prior and data features and thus provides better hybrid information to perform the more reasonable image enhancement.

研究の動機と目的

• RGBチャネルにおける複雑な環境光依存関係を正しくモデル化できない既存の合成水中データセットの限界を是正すること。
• ドメイン固有の事前知識を深層学習モデルに統合することで、大規模な実データへの依存度を低減すること。
• 入力画像の特徴に基づき、複数の事前知識（色調、水質、構造）の重要性を動的に補正することで、画像増強の性能を向上させること。
• 事前知識とデータ駆動特徴を効果的に統合する包括的なフレームワークを構築し、頑健な水中画像修復を実現すること。
• アブレーションおよび比較研究を通じて、合成および実世界の水中画像ベンチマークの両方で、優れた性能を示すことを実証すること。

提案手法

• RGB強度値、水質、吸収/散乱係数、物体の深さの間の複雑な関係をモデル化するため、改訂された環境光合成式を導入した。
• ANA-SYNフレームワークは、事前知識の探索とアダプティブ重み付けを行う分析ネットワークと、事前知識の統合と画像再構築を行う合成ネットワークから構成される。
• アダプティブ重み付けモジュールは、入力画像の文脈に基づき、各事前知識（色調、水質、構造）の重要性を再補正し、特徴の識別能を向上させる。
• 学習可能な統合を用いて事前知識とデータ特徴を統合する、新規の事前知識ガイドランスモジュールを提案し、モデルの現実的で高品質な出力生成能力を強化した。
• 構造的・色の忠実度を向上させるために、L1損失、知覚的損失、 adversarial損失を組み合わせたマルチ損失目的関数を用いて訓練した。
• 改訂された環境光モデルを用いて、より現実的な訓練データを反映する新たな合成水中データセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 RGBチャネルと環境要因の間の依存関係をモデル化する改訂された環境光合成式は、より現実的な水中訓練データを生成できるか？
• RQ2 色調、水質、構造といった複数のドメイン固有の事前知識を統合することで、単なるデータ駆動学習に比べて、水中画像増強がどの程度向上するか？
• RQ3 入力画像に応じて事前知識の重要性を動的に再補正するアダプティブ重み付けモジュールは、モデルの性能と一般化能力をどの程度向上させるか？
• RQ4 提案された事前知識ガイドランスモジュールは、事前知識とデータ特徴の統合において、優れた画像修復を達成するのにどの程度有効か？
• RQ5 ANA-SYNフレームワークは、合成および実世界の水中画像ベンチマークの両方で、既存の最先端手法を上回る性能を示すか？

主な発見

• 改訂された環境光式を用いて生成された提案された合成データセットは、色、コントラスト、ぼかし特性の点で、実際の水中シーンに著しく近い画像を生成した。
• ANA-SYNフレームワークは、5つの実世界水中ベンチマークで最先端の性能を達成し、色調、水質、構造の各事前知識を用いた場合、ベースラインモデル比で平均PSNRとSSIMがそれぞれ0.733dB、0.955dB、0.615dB向上した。
• アダプティブ重み付けモジュールは、事前知識の直接連結や加算処理に比べて0.05–0.15dBの性能向上を示し、動的かつ適応的な事前知識補正の有効性を裏付けた。
• 事前知識ガイドランスモジュールは特徴統合を強化し、より自然な結果と向上したUIQMおよびNIQEスコアをもたらし、現実的な強化の生成においてその役割を確認した。
• 訓練時に知覚的損失を組み込むことで、視覚的品質が顕著に向上し、実ベンチマークでの高い知覚スコアと色の現実性が確認された。
• ANA-SYNは中程度のモデル複雑性で優れた性能を発揮した。UcolorやWater-Netより少ないパラメータ数とFLOPsを実現し、UGANより高速な推論を達成した。また、FUIE-GANよりも小型であるにもかかわらず、優れた性能を示した。