[論文レビュー] UWGAN: Underwater GAN for Real-world Underwater Color Restoration and Dehazing

Nan Wang, Yabin Zhou+3 more|arXiv (Cornell University)|Dec 21, 2019

Image Enhancement Techniques参考文献 16被引用数 107

ひとこと要約

UWGANは、空中画像と深度マップから実際の水中効果をシミュレートする無監督GANを導入し、エンドツーエンドの水中カラー復元とヘイズ除去のためのU-Netオートエンコーダを使用します。NVIDIA 1060 GPU単一で最大125 FPSを達成。

ABSTRACT

In real-world underwater environment, exploration of seabed resources, underwater archaeology, and underwater fishing rely on a variety of sensors, vision sensor is the most important one due to its high information content, non-intrusive, and passive nature. However, wavelength-dependent light attenuation and back-scattering result in color distortion and haze effect, which degrade the visibility of images. To address this problem, firstly, we proposed an unsupervised generative adversarial network (GAN) for generating realistic underwater images (color distortion and haze effect) from in-air image and depth map pairs based on improved underwater imaging model. Secondly, U-Net, which is trained efficiently using synthetic underwater dataset, is adopted for color restoration and dehazing. Our model directly reconstructs underwater clear images using end-to-end autoencoder networks, while maintaining scene content structural similarity. The results obtained by our method were compared with existing methods qualitatively and quantitatively. Experimental results obtained by the proposed model demonstrate well performance on open real-world underwater datasets, and the processing speed can reach up to 125FPS running on one NVIDIA 1060 GPU. Source code, sample datasets are made publicly available at https://github.com/infrontofme/UWGAN_UIE.

研究の動機と目的

• データ効率の高い無監督GANフレームワークを用いて、実世界の水中画像の復元とヘイズ除去を動機づける。
• 空中画像と深度マップのペアから現実的な水中画像を生成する、改善された水中撮像モデルを提案する。
• シーン構造を保持しつつ、合成水中データで訓練されたU-Netベースのカラー復元とヘイズ除去ネットワークを採用する。
• 実水中データセット上で、従来手法より定性的および定量的な改善を示す。
• さらなる研究を促進するため、公開可能なコードとサンプルデータセットを提供する。

提案手法

• 改善された水中撮像モデルを用いて、空中画像と深度マップから現実的な水中のカラー歪みとヘイズを生成する無監督GANを提案する。
• エンドツーエンドのオートエンコーダフレームワークでカラー復元とヘイズ除去を行うためにU-Netアーキテクチャを使用する。
• シーン内容と構造的類似性を保つよう、合成水中データセットで効率的に訓練する。
• オープン水中データセットで評価し、処理速度を報告することで実世界適用性を示す（NVIDIA 1060 GPUで最大125 FPS）。
• 再現性のため、ソースコードとサンプルデータセットを公開する。

実験結果

リサーチクエスチョン

• RQ1 改善された撮像モデルを用いて、空中画像と深度マップから現実的な水中の歪みとヘイズを生成する無監督GANは実現可能か。
• RQ2 U-Netベースのオートエンコーダは、構造的内容を保持しつつ水中シーンのカラー復元とヘイズ除去を効果的に行えるか。
• RQ3 提案手法UWGANは、実世界の水中データセット上で定性的および定量的比較においてどのように性能を示すか。
• RQ4 一般的なハードウェア（例: NVIDIA GPU）で現実時間アプリケーション向けのUWGANの実用的な処理速度はどれくらいか。

主な発見

• 提案された無監督GANは、入力の空中画像と深度マップから現実的な水中のカラー歪みとヘイズを生成できる。
• U-Net復元ネットワークは、カラー復元とヘイズ除去を行いながらシーン構造を保持する。
• 定性的・定量的評価は、実世界の水中データセット上で競争力のある性能を示している。
• 本手法は単一のNVIDIA 1060 GPUで最大125 FPSの処理速度を達成する。
• ソースコードとサンプルデータセットは再現性のために公開されている。