[论文解读] USLN: A statistically guided lightweight network for underwater image enhancement via dual-statistic white balance and multi-color space stretch

Ziyuan Xiao, Yina Han+2 more|arXiv (Cornell University)|Sep 6, 2022

Image Enhancement Techniques被引用 11

一句话总结

本文提出 USLN，一种轻量级水下图像增强网络，通过双统计白平衡与多色彩空间直方图拉伸技术，校正色彩失真与低对比度问题。通过直接在像素值上利用统计先验，而非学习高维特征，USLN 仅用 894 个可训练参数即实现最先进性能。

ABSTRACT

Underwater images are inevitably affected by color distortion and reduced contrast. Traditional statistic-based methods such as white balance and histogram stretching attempted to adjust the imbalance of color channels and narrow distribution of intensities a priori thus with limited performance. Recently, deep-learning-based methods have achieved encouraging results. However, the involved complicate architecture and high computational costs may hinder their deployment in practical constrained platforms. Inspired by above works, we propose a statistically guided lightweight underwater image enhancement network (USLN). Concretely, we first develop a dual-statistic white balance module which can learn to use both average and maximum of images to compensate the color distortion for each specific pixel. Then this is followed by a multi-color space stretch module to adjust the histogram distribution in RGB, HSI, and Lab color spaces adaptively. Extensive experiments show that, with the guidance of statistics, USLN significantly reduces the required network capacity (over98%) and achieves state-of-the-art performance. The code and relevant resources are available at https://github.com/deepxzy/USLN.

研究动机与目标

• 解决传统基于统计的方法存在的局限性，即应用固定规则，无法适应色彩失真中的像素级变化。
• 克服现有深度学习模型在水下图像增强中计算成本高、结构复杂的问题，从而提升在资源受限平台上的部署能力。
• 将统计先验（如灰度世界与白 patch 原理）整合进可学习的轻量级神经架构中，以提升增强的鲁棒性与效率。
• 在图像质量指标（PSNR、SSIM）上实现最先进性能，同时相比现有 SOTA 方法显著减小模型尺寸。

提出的方法

• 提出双统计白平衡模块，通过学习每幅图像的平均值与最大强度值来调整色彩通道，实现自适应、像素级色彩校正。
• 引入多色彩空间拉伸模块，自适应调整 RGB、HSI 与 Lab 色彩空间中的直方图分布，以增强对比度，同时保持色彩自然性。
• 设计一种轻量级网络架构，直接在三维色彩空间的像素值上操作，避免复杂的特征提取过程，将参数数量控制在 1,000 以下。
• 引入带有 Tanh 激活函数的残差增强模块，以保留图像保真度并防止过度增强，提升视觉真实感。
• 采用联合损失函数，包含 MAE、VGG 感知损失与 SSIM，以同时优化像素级精度与感知质量。
• 在多样化水下图像数据集上采用端到端监督学习方式训练网络，无需复杂主干网络或预训练。

实验结果

研究问题

• RQ1 能否通过使用统计先验直接操作像素值的轻量级神经网络，在水下图像增强任务中超越复杂深度学习模型？
• RQ2 平均值与最大值强度统计的结合，在不同水下场景中提升色彩平衡的效果如何？
• RQ3 在 RGB、HSI 与 Lab 空间中进行多色彩空间直方图拉伸，是否比单空间或通道级拉伸带来更好的对比度与色彩恢复效果？
• RQ4 参数少于 1,000 的模型是否能在标准基准上实现 PSNR 与 SSIM 的最先进性能？
• RQ5 各组件（双统计 WB、多空间拉伸、残差模块、损失函数）对最终增强质量的贡献分别是什么？

主要发现

• USLN 在 UIEB、Uimaginet 与 UFO 数据集上均达到最先进性能，PSNR 达 23.78，SSIM 达 0.92，优于参数量显著更多的模型。
• 消融实验证实，平均值与最大值强度统计均对有效色彩校正至关重要，移除任一成分将导致 PSNR 分别下降超过 60 与 180。
• 多色彩空间拉伸模块在 HSI 空间中使用 S 与 I 通道时性能提升最大，而加入全部 HSI 通道反而导致性能下降，表明通道级优化至关重要。
• 带有 Tanh 激活函数的残差增强模块可防止过度增强，保留自然色彩——例如恢复水生植物中的绿色——而若无此模块则输出呈现灰暗、不自然的色调。
• 联合损失函数（MAE + VGG 感知损失 + SSIM）带来最佳视觉质量，其中 SSIM 损失提升结构相似性，感知损失增强真实感。
• 尽管模型极小（仅 894 个参数），USLN 在 PSNR 与 SSIM 上仍优于参数量更大的模型，如 Ucolor（148.77M 参数）与 FUnIE-GAN（7.02M 参数），证明其高效性与有效性。