[論文レビュー] Domain Adaptive Adversarial Learning Based on Physics Model Feedback for Underwater Image Enhancement

Yuan Zhou, Kangming Yan|arXiv (Cornell University)|Feb 20, 2020

Image Enhancement Techniques参考文献 51被引用数 11

ひとこと要約

本論文は、画像形成モデルを用いて生成された合成水中データを活用することで、ドメイン適応型で物理的制約を組み込んだGANフレームワークを提案する。ドメイン適応と物理的フィードバック制御を統合することで、定量的指標（UIQM: 5.0874）と定性的な結果の両面で最先端の性能を達成し、対照性、色再現性、詳細回復性において従来手法を著しく上回っている。

ABSTRACT

Owing to refraction, absorption, and scattering of light by suspended particles in water, raw underwater images suffer from low contrast, blurred details, and color distortion. These characteristics can significantly interfere with the visibility of underwater images and the result of visual tasks, such as segmentation and tracking. To address this problem, we propose a new robust adversarial learning framework via physics model based feedback control and domain adaptation mechanism for enhancing underwater images to get realistic results. A new method for simulating underwater-like training dataset from RGB-D data by underwater image formation model is proposed. Upon the synthetic dataset, a novel enhancement framework, which introduces a domain adaptive mechanism as well as a physics model constraint feedback control, is trained to enhance the underwater scenes. Final enhanced results on synthetic and real underwater images demonstrate the superiority of the proposed method, which outperforms nondeep and deep learning methods in both qualitative and quantitative evaluations. Furthermore, we perform an ablation study to show the contributions of each component we proposed.

研究の動機と目的

• 光の吸収および散乱によって引き起こされる低コントラスト、色ずれ、ぼやけた水中画像の課題に対処すること。
• 水中画像強調における教師あり学習のための実際のペairedデータの不足を克服すること。
• GANフレームワークにドメイン適応を導入することで、多様な水中ドメインにわたる一般化性能を向上させること。
• 減衰や散乱などの物理的パラメータを用いた物理モデルに基づくフィードバック制御機構を組み込むことで、現実性と物理的妥当性を向上させること。

提案手法

• RGB-D入力を用いて、散乱および吸収効果をシミュレートする新しい水中画像形成モデルを用い、現実的な水中風の訓練データを合成する。
• 実際の水中ドメインと合成水中ドメインの間で特徴量を整合させるドメイン適応機構を備えた条件付き生成対抗ネットワーク（cGAN）を訓練する。
• 減衰や散乱などの物理的パラメータを用いて、生成器の出力を制約する物理モデルに基づくフィードバック制御システムを導入する。
• 構造的および意味的整合性を保つために、敵対的損失、ピクセル単位の再構成損失、および知覚的損失を組み合わせる。
• ドメインのズレを最小化するために、実際の水中画像と合成水中画像の間のドメイン差を抑えるドメイン識別器を用いてドメイン適応を実装する。
• 最終的なモデルは、GAN損失、再構成損失、知覚的損失、および物理的フィードバックを組み合わせた複合損失を用いてエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 物理的制約を組み込んだフィードバック機構は、強調処理後の水中画像の現実性と物理的整合性を向上させることができるか？
• RQ2 訓練中に合成水中画像と実際の水中画像の間のドメインシフトを軽減するために、ドメイン適応はどの程度効果的か？
• RQ3 物理的制約と敵対的学習を組み合わせることで、標準のGANや教師ありベースラインと比較して、より優れた強調性能が得られるか？
• RQ4 個々の構成要素（ドメイン適応、物理的フィードバック、ピクセル損失）は、最終的な強調品質にどの程度寄与しているか？

主な発見

• 提案手法は、実世界の水中画像に対してUIQMスコア5.0874を達成し、比較対象の全手法を著しく上回った。
• アブレーションスタディの結果、ドメイン適応と物理的フィードバック制御の両方が最終性能に顕著な寄与をしていることが確認され、両方を組み合わせた際のUIQMは0.53上昇した。
• 20名の経験豊富な参加者による主観評価では、提案手法が最高評価（平均スコア：8.7/10）を獲得し、視覚的品質と自然さの優位性が示された。
• 色ずれの低減とコントラスト・シャープネスの向上が図られており、高水準のUISM（6.7606）およびUIConM（0.8528）の値によって裏付けられた。
• 画像形成モデルを用いて生成された合成データセットは、実世界の水中シーンへの有効な訓練と一般化を可能にした。
• 本フレームワークは、深さや粒子濃度、照明条件の異なる多様な水中環境に対しても、強固な性能を示した。