[論文レビュー] All-In-One Underwater Image Enhancement using Domain-Adversarial Learning

Pritish Uplavikar, Zhenyu Wu+1 more|arXiv (Cornell University)|May 30, 2019

Image Enhancement Techniques参考文献 22被引用数 74

ひとこと要約

一つのエンコーダ–デコーダネットワークが敵対的なノイズ分類を介して水タイプに依存しない特徴を学習し、Jerlov水タイプ全体で水中画像を改善し、SSIM/PSNRを向上させ、実世界データへ一般化する。これにより下流の物体検出も向上。

ABSTRACT

Raw underwater images are degraded due to wavelength dependent light attenuation and scattering, limiting their applicability in vision systems. Another factor that makes enhancing underwater images particularly challenging is the diversity of the water types in which they are captured. For example, images captured in deep oceanic waters have a different distribution from those captured in shallow coastal waters. Such diversity makes it hard to train a single model to enhance underwater images. In this work, we propose a novel model which nicely handles the diversity of water during the enhancement, by adversarially learning the content features of the images by disentangling the unwanted nuisances corresponding to water types (viewed as different domains). We use the learned domain agnostic features to generate enhanced underwater images. We train our model on a dataset consisting images of 10 Jerlov water types. Experimental results show that the proposed model not only outperforms the previous methods in SSIM and PSNR scores for almost all Jerlov water types but also generalizes well on real-world datasets. The performance of a high-level vision task (object detection) also shows improvement using enhanced images with our model.

研究の動機と目的

• Jerlovの水タイプ間での水中画像分布の多様性を動機づけ、対処する。
• シーンのドメイン非依存特徴を学習する統一的なCNNベースの強化モデルを開発する。
• 水タイプのノイズをコンテンツ特徴から分離するために敵対学習を活用する。
• 複数の水タイプにわたって、従来法と比較して定量指標（SSIM/PSNR）の改善を示す。
• 実世界データセットへの一般化と、物体検出などの高レベルタスクへの利点を実証する。

提案手法

• 劣化した入力から鮮明な水中画像を再構成するためにエンコーダ–デコーダ（U-Net）を用いる。
• 潜在表現Zから水タイプを予測するノイズ分類器Dを導入し、水タイプ情報をモデル化する。
• 分類器の信頼度を最小化する対立的損失（負エントロピー）をエンコーダに適用し、ドメイン非依存特徴を学習する。
• G(Z)と正解の鮮明な画像との再構成損失を最適化して忠実な復元を保証する。
• 対立訓練とノイズ分類器の性能のバランスを取る段階的手法で訓練し、意味のある潜在表現を確保する。
• 水中画像形成モデルに基づいて減衰・散乱効果を反映する多水タイプの訓練データを合成する。

実験結果

リサーチクエスチョン

• RQ1 事前の水タイプ識別なしに、単一の強化モデルで複数のJerlov水タイプを扱えるか？
• RQ2 敵対的ドメイン適応はエンコーダが水タイプに依存しない特徴を学習し、復元品質を改善するのに役立つか？
• RQ3 水タイプに依存しない特徴は、合成訓練データを超えた実世界の水中画像への一般化を改善するか？
• RQ4 提案手法で水中画像を強化することは、物体検出などの下流タスクを改善するか？
• RQ5 提案手法は、敵対的でないベースライン（例えばベーシックなU-Net）と比較して、水タイプ間でのSSIM/PSNRでどうか？

主な発見

• 提案されたUIE-DALモデルは、合成データにおいてほとんどすべてのJerlov水タイプでSSIMとPSNRの点で従来法を上回る。
• 訓練時に見られなかった実世界の水中画像へもモデルは良く一般化する。
• 敵対訓練は、PCAの可視化で示されるように、水タイプではなく内容で符号化がクラスタリングされる、ドメイン非依存の潜在表現を生み出す。
• UIE-DALで画像を強化すると、いくつかのデータセットで物体検出性能（例: YOLOv3）が向上する。
• ベーシックなU-Netと比較して、敵対訓練済みモデルは複数の水タイプにわたりより高いSSIM/PSNRを達成し、復元品質が向上していることを示す。
• 本手法は水中シーンの多様性に対して頑健であり、高レベルのビジョンタスクの改善をサポートする。