[论文解读] LYT-NET: Lightweight YUV Transformer-based Network for Low-light Image Enhancement

Alexandru Brateanu, Raul Balmez+3 more|arXiv (Cornell University)|Jan 26, 2024

Image Enhancement Techniques被引用 5

一句话总结

LYT-Net 引入了一个轻量级基于 Transformer 的 LLIE 模型，在 YUV 空间中分离增强亮度与色度，取得极接近 SOTA 的结果同时具有极低的复杂度。

ABSTRACT

This letter introduces LYT-Net, a novel lightweight transformer-based model for low-light image enhancement (LLIE). LYT-Net consists of several layers and detachable blocks, including our novel blocks--Channel-Wise Denoiser (CWD) and Multi-Stage Squeeze & Excite Fusion (MSEF)--along with the traditional Transformer block, Multi-Headed Self-Attention (MHSA). In our method we adopt a dual-path approach, treating chrominance channels U and V and luminance channel Y as separate entities to help the model better handle illumination adjustment and corruption restoration. Our comprehensive evaluation on established LLIE datasets demonstrates that, despite its low complexity, our model outperforms recent LLIE methods. The source code and pre-trained models are available at https://github.com/albrateanu/LYT-Net

研究动机与目标

• 提出高效的低光图像增强以保持色彩保真度。
• 利用 YUV 色彩空间将亮度和色度处理分离以提升感知质量。
• 开发一个具备专用去噪、融合和注意力模块的基于 transformer 的轻量化架构。
• 提出混合损失以联合优化感知质量、色彩保真和结构相似度。

提出的方法

• 对输入 RGB 图像进行处理并转换为 YUV，以分离 Y、U、V 通道。
• 采用双路径设计，对亮度 (Y) 和色度 (U, V) 进行处理，使用专门的模块（MHSA、MSEF、CWD）。
• 使用多头自注意力 (MHSA) 模块对 Y 建模长程依赖；对 U、V 应用通道级去噪 (CWD)。
• 通过多阶段挤压与激励融合（MSEF）模块和最终卷积层融合增强后的 Y、U、V 以生成输出。
• 采用混合损失，结合平滑 L1、感知、直方图、PSNR、色彩和 MS-SSIM 项来训练模型。
• 使用 LOL 数据集进行训练与评估，结合数据增强和余弦退火学习率调度。

实验结果

研究问题

• RQ1 在 YUV 空间的轻量级 transformer 架构是否能够在远低于其他方法的参数和 FLOPS 的情况下实现具有竞争力的 LLIE 性能？
• RQ2 将亮度与色度处理分离是否能改善 LLIE 的色彩保真度和感知质量？
• RQ3 所提出的混合损失是否相较单目标损失提升了整体图像质量、颜色准确性与结构相似性？

主要发现

方法	FLOPS (G)	参数 (M)	LOL-v1 PSNR	LOL-v1 SSIM	LOL-v2-real PSNR	LOL-v2-real SSIM	LOL-v2-syn PSNR	LOL-v2-syn SSIM
LYT-Net	3.49	0.045	24.13	0.844	22.93	0.840	23.33	0.905

• LYT-Net 在 LOL-v1、LOL-v2-real 和 LOL-v2-syn 数据集上均达到前三名的结果。
• 该模型使用 3.49 GFLOPS 和 0.045M 参数，显示出极低的轻量级设计。
• 定量结果显示 PSNR/SSIM 的提高与 SOTA 方法相符，同时保持显著更低的复杂度。
• 定性结果表明相比若干更重的基线，色彩失真减少且曝光更加平衡。
• 提出的 YUV 双路径设计与 MHSA、MSEF 及 CWD 模块有效提升亮度，同时保持色度。
• 混合损失有助于稳定训练并提升感知与结构保真度。