[论文解读] Domain Adaptive Adversarial Learning Based on Physics Model Feedback for Underwater Image Enhancement

Yuan Zhou, Kangming Yan|arXiv (Cornell University)|Feb 20, 2020

Image Enhancement Techniques参考文献 51被引用 11

一句话总结

该论文提出了一种领域自适应、物理引导的生成对抗网络框架，用于水下图像增强，利用基于图像形成模型生成的合成水下数据集。通过整合领域自适应与基于物理的反馈控制机制，该方法在定量指标（UIQM: 5.0874）和定性结果上均达到当前最优性能，在对比度、色彩保真度和细节恢复方面显著优于现有方法。

ABSTRACT

Owing to refraction, absorption, and scattering of light by suspended particles in water, raw underwater images suffer from low contrast, blurred details, and color distortion. These characteristics can significantly interfere with the visibility of underwater images and the result of visual tasks, such as segmentation and tracking. To address this problem, we propose a new robust adversarial learning framework via physics model based feedback control and domain adaptation mechanism for enhancing underwater images to get realistic results. A new method for simulating underwater-like training dataset from RGB-D data by underwater image formation model is proposed. Upon the synthetic dataset, a novel enhancement framework, which introduces a domain adaptive mechanism as well as a physics model constraint feedback control, is trained to enhance the underwater scenes. Final enhanced results on synthetic and real underwater images demonstrate the superiority of the proposed method, which outperforms nondeep and deep learning methods in both qualitative and quantitative evaluations. Furthermore, we perform an ablation study to show the contributions of each component we proposed.

研究动机与目标

• 解决因光吸收和散射导致的低对比度、色彩失真和模糊水下图像问题。
• 克服水下图像增强中真实配对训练数据缺乏导致的监督学习难题。
• 通过在生成对抗网络框架中引入领域自适应，提升在多样化水下领域中的泛化能力。
• 通过引入基于物理模型的反馈控制机制，增强结果的真实感与物理合理性。

提出的方法

• 使用一种新颖的水下图像形成模型，从RGB-D输入合成逼真的水下风格训练数据，模拟散射与吸收效应。
• 训练一种条件生成对抗网络（cGAN），并引入领域自适应机制，对齐真实与合成水下图像之间的特征分布。
• 引入基于物理模型的反馈控制机制，利用衰减和散射等物理参数约束生成器的输出。
• 框架结合对抗损失、像素级重建损失与感知损失，以保持结构与语义一致性。
• 通过领域判别器最小化真实与合成水下图像之间的领域差异，实现领域自适应。
• 最终模型通过端到端训练，采用复合损失函数，结合GAN损失、重建损失、感知损失与物理反馈损失。

实验结果

研究问题

• RQ1 基于物理的反馈机制能否提升增强后水下图像的真实感与物理一致性？
• RQ2 在训练过程中，领域自适应在减少合成与真实水下图像之间领域偏移方面有多有效？
• RQ3 将物理约束与对抗学习相结合，是否能带来优于标准GAN或监督基线方法的增强性能？
• RQ4 各个组件（领域自适应、物理反馈、像素损失）对最终增强质量的贡献程度如何？

主要发现

• 所提方法在真实世界水下图像上达到UIQM分数5.0874，显著优于所有对比方法。
• 消融实验表明，领域自适应与基于物理的反馈控制均对最终性能有显著贡献，当两者同时使用时UIQM提升0.53。
• 由20名经验丰富的参与者进行的主观评估中，该方法得分最高（平均分8.7/10），表明其视觉质量与自然度更优。
• 该方法有效减少了色彩偏移，同时增强了对比度与清晰度，这一点由较高的UISM（6.7606）与UIConM（0.8528）值证实。
• 通过图像形成模型生成的合成数据集，能够有效支持训练并实现向真实水下场景的泛化。
• 该框架在多种水下条件下表现出鲁棒性，包括不同深度、颗粒物浓度与光照条件。