[論文レビュー] Adaptive deep learning framework for robust unsupervised underwater image enhancement

Alzayat Saleh, Marcus Sheaves+2 more|arXiv (Cornell University)|Dec 18, 2022

Image Enhancement Techniques被引用数 5

ひとこと要約

本稿では、確率的適応的インスタンス正規化（PAdaIN）と統計的にガイドされたマルチカラースペースストレッチモジュールを備えた条件付き変分オートエンコーダ（cVAE）を用いた、教師なしの水中画像強調フレームワークUDnetを提案する。モデルは教師画像の分布から学習することで、教師なしで水中画像を強調し、8つの公的データセットで最先端の性能を達成し、非ペaired設定でも優れた汎化性能を示す。

ABSTRACT

One of the main challenges in deep learning-based underwater image enhancement is the limited availability of high-quality training data. Underwater images are difficult to capture and are often of poor quality due to the distortion and loss of colour and contrast in water. This makes it difficult to train supervised deep learning models on large and diverse datasets, which can limit the model's performance. In this paper, we explore an alternative approach to supervised underwater image enhancement. Specifically, we propose a novel unsupervised underwater image enhancement framework that employs a conditional variational autoencoder (cVAE) to train a deep learning model with probabilistic adaptive instance normalization (PAdaIN) and statistically guided multi-colour space stretch that produces realistic underwater images. The resulting framework is composed of a U-Net as a feature extractor and a PAdaIN to encode the uncertainty, which we call UDnet. To improve the visual quality of the images generated by UDnet, we use a statistically guided multi-colour space stretch module that ensures visual consistency with the input image and provides an alternative to training using a ground truth image. The proposed model does not need manual human annotation and can learn with a limited amount of data and achieves state-of-the-art results on underwater images. We evaluated our proposed framework on eight publicly-available datasets. The results show that our proposed framework yields competitive performance compared to other state-of-the-art approaches in quantitative as well as qualitative metrics. Code available at https://github.com/alzayats/UDnet .

研究の動機と目的

• 教師付き学習のための高品質でアノテーション済みの水中画像データセットの不足に対処すること。
• 教師なしの深層学習フレームワークを構築し、教師画像アノテーションを必要とせずに水中画像を強調すること。
• 参照画像の統計的モデリングを用いて、水中画像の視覚的品質と色の一貫性を向上させること。
• 教師画像が入手できない非ペアデータセットにおいても、強力な汎化性能を実現すること。
• ロボット工学や環境モニタリングアプリケーションにおける水中画像認識を向上させること。

提案手法

• フレームワークは、特徴抽出器としてU-Netベースのエンコーダ・デコーダアーキテクチャを採用する。
• 特徴空間における不確実性を確率的参照画像分布を用いて符号化するために、確率的適応的インスタンス正規化（PAdaIN）が使用される。
• 強調分布をモデリングし、教師なし学習を可能にするために、条件付き変分オートエンコーダ（cVAE）が採用される。
• 色チャンネル分布をモデリングすることで、視覚的一致性と色再現性を確保する統計的にガイドされたマルチカラースペースストレッチモジュールが採用される。
• 各学習ステップでランダムに選択された参照画像を活用することで、手動アノテーションを一切必要とせず、生の水中画像のみで学習が行われる。
• ペア化された実写対強調画像ペアを必要とせず、エンドツーエンドで完全に訓練可能なネットワークである。

実験結果

リサーチクエスチョン

• RQ1 ペア化された教師画像データに依存せずに、深層学習モデルが高品質な水中画像強調を達成できるか？
• RQ2 弱教師あり設定において、確率的正規化を用いて画像強調の不確実性を効果的にモデリングできるか？
• RQ3 統計的にガイドされたカラースペースストレッチが、強調された水中画像の視覚的一致性と現実性をどの程度向上できるか？
• RQ4 提案された教師なしフレームワークは、教師画像が入手できない非ペアデータセットにどの程度汎化できるか？
• RQ5 このフレームワークは、標準的な水中画像強調ベンチマークにおいて、既存の教師ありおよび弱教師あり手法を上回ることができるか？

主な発見

• 提案されたUDnetフレームワークは、8つの公的水中画像データセットで7つの定量的指標において最先端の性能を達成した。
• 教師画像ラベルが入手できない非ペア設定においても、強力な汎化能力を示し、10の既存手法を上回った。
• PAdaINの使用により、色ずれや低コントラストといった多様な水中画像歪みに対して、適応的で不確実性をモデル化する能力が向上し、耐性が向上した。
• 統計的にガイドされたマルチカラースペースストレッチモジュールは、教師画像を必要とせず、視覚的一致性を効果的に保持し、色再現性を向上させた。
• 限られた学習データでも競争力のある結果を達成したため、低データ環境下でも有効性が確認された。
• アブレーションスタディにより、PAdaINおよびマルチカラースペースストレッチの両方が最終的な強調品質に顕著な寄与をしていることが確認された。