[論文レビュー] DGD-cGAN: A Dual Generator for Image Dewatering and Restoration

Salma González-Sabbagh, Antonio Robles‐Kelly+1 more|arXiv (Cornell University)|Nov 18, 2022

Image Enhancement Techniques被引用数 4

ひとこと要約

本稿では、水中画像の除霧と色彩回復を目的とした、2つの生成器を備えた条件付き生成対抗ネットワーク（DGD-cGAN）を提案する。最初の生成器は除霧画像を予測するのに対し、2番目の生成器は物理的ベースの損失関数を用いて透過率とベール光成分を学習する。この損失関数は水中画像形成モデルに基づいており、深度情報や水柱パラメータを必要とせず、最先端の性能を達成している。

ABSTRACT

Underwater images are usually covered with a blue-greenish colour cast, making them distorted, blurry or low in contrast. This phenomenon occurs due to the light attenuation given by the scattering and absorption in the water column. In this paper, we present an image enhancement approach for dewatering which employs a conditional generative adversarial network (cGAN) with two generators. Our Dual Generator Dewatering cGAN (DGD-cGAN) removes the haze and colour cast induced by the water column and restores the true colours of underwater scenes whereby the effects of various attenuation and scattering phenomena that occur in underwater images are tackled by the two generators. The first generator takes at input the underwater image and predicts the dewatered scene, while the second generator learns the underwater image formation process by implementing a custom loss function based upon the transmission and the veiling light components of the image formation model. Our experiments show that DGD-cGAN consistently delivers a margin of improvement as compared with the state-of-the-art methods on several widely available datasets.

研究の動機と目的

• 水中の光の減衰と散乱による水中画像の劣化の課題に対処すること。
• 深度情報に依存する既存手法の限界や、画像回復における物理的整合性の欠如を克服すること。
• 入力画像のみを用いて真の色彩を回復し、コントラストを向上させる深層学習手法の開発。
• 水中画像形成モデル（UIFM）をGANフレームワークに統合し、回復画像の物理的妥当性を保証すること。
• 深度マップや水柱パラメータを必要とせず、画像の一貫性と色彩回復の両方を同時に最適化することで、小規模な実世界データセット上でも効果的にモデルを学習すること。

提案手法

• エンドツーエンドの画像回復を実現するため、2つの異なる生成器と1つの判別器を備えた条件付きGANアーキテクチャを採用する。
• 最初の生成器は水中画像を入力とし、除霧処理が施され色補正された画像を出力する。
• 2番目の生成器は、水中画像形成モデル（UIFM）に基づいて独自の損失関数を用い、透過率とベール光成分を推定する。
• 損失関数は、予測された除霧画像とUIFMとの整合性を強制し、放射輝度と散乱効果の差異を最小化する。
• 2つの目的を同時に最適化する：(1) UIFMとの物理的整合性、(2) 真空中の画像を基準とした色彩回復の正確さ。
• 深度マップや水柱パラメータを必要とせず、実世界の水中データセット上で学習を行う。

実験結果

リサーチクエスチョン

• RQ1 深度情報や水柱パラメータに依存しない二重生成器cGANアーキテクチャは、水中画像の回復に有効であるか？
• RQ2 水中画像形成モデルに基づく物理的インフォームド損失関数は、回復画像の整合性と現実性をどの程度向上させるか？
• RQ3 除霧と色彩回復の共同最適化は、エンドツーエンドまたは単一目的アプローチよりも優れた性能を発揮するか？
• RQ4 多様な水中データセットにおいて、定量的指標と被観察的品質の両面で、本手法は最先端の手法と比較してどの程度優れているか？
• RQ5 小規模な学習データセットのみを用いても、本手法はさまざまな濃霧度、色かぶり、ぼやけ具合を示す実世界の水中画像に十分に一般化できるか？

主な発見

• TURBIDデータセットでは、DGD-cGANが最高のSSIM（23.8426）とPSNR（0.7061）を達成し、FUnIE-GAN や CLAHE を含むすべてのベースライン手法を上回った。
• EUVP、UIEB、UFO-120データセットでは、それぞれUQIMスコアが3.0829、3.4184、3.1885と最高を記録し、真値がなくても優れた被観察的品質を示した。
• TURBIDデータセットでは、真値とのユークリッド距離（ED）が最小となり、三色成分EDが2.0296であった。これは優れた色彩忠実性を示している。
• 定性的な結果から、DGD-cGANは細かいディテールを保持しており、他の手法がしばしば導入する人工的な色調（例：オレンジや青）の付加を回避している。
• 本手法は5つの多様なデータセットで一貫した優れた性能を示し、さまざまな水中環境や画像劣化度に強く、耐障害性を示した。
• すべての評価指標において、Water-Net や Retinex、UGAN を含む最先端の手法を上回った。定量的および被観察的品質の両面で、本手法の優位性が確認された。