[论文解读] Diving into Darkness: A Dual-Modulated Framework for High-Fidelity Super-Resolution in Ultra-Dark Environments

Jiaxin Gao, Ziyu Yue+4 more|arXiv (Cornell University)|Sep 11, 2023

Advanced Image Processing Techniques被引用 4

一句话总结

本文提出UltraBM，一种用于超暗环境下高保真超分辨率的双调制框架，结合自正则化亮度约束与照度-语义双调制（ISDM），以保留光照与色彩细节。该方法引入分辨率敏感的融合上采样器（RSMU），减少伪影与光晕，相较于SOTA方法实现5%的PSNR增益与43%的LPIPS改进，且在不同黑暗程度下的RMSE泛化能力提升19倍。

ABSTRACT

Super-resolution tasks oriented to images captured in ultra-dark environments is a practical yet challenging problem that has received little attention. Due to uneven illumination and low signal-to-noise ratio in dark environments, a multitude of problems such as lack of detail and color distortion may be magnified in the super-resolution process compared to normal-lighting environments. Consequently, conventional low-light enhancement or super-resolution methods, whether applied individually or in a cascaded manner for such problem, often encounter limitations in recovering luminance, color fidelity, and intricate details. To conquer these issues, this paper proposes a specialized dual-modulated learning framework that, for the first time, attempts to deeply dissect the nature of the low-light super-resolution task. Leveraging natural image color characteristics, we introduce a self-regularized luminance constraint as a prior for addressing uneven lighting. Expanding on this, we develop Illuminance-Semantic Dual Modulation (ISDM) components to enhance feature-level preservation of illumination and color details. Besides, instead of deploying naive up-sampling strategies, we design the Resolution-Sensitive Merging Up-sampler (RSMU) module that brings together different sampling modalities as substrates, effectively mitigating the presence of artifacts and halos. Comprehensive experiments showcases the applicability and generalizability of our approach to diverse and challenging ultra-low-light conditions, outperforming state-of-the-art methods with a notable improvement (i.e., $\uparrow$5\% in PSNR, and $\uparrow$43\% in LPIPS). Especially noteworthy is the 19-fold increase in the RMSE score, underscoring our method's exceptional generalization across different darkness levels. The code will be available online upon publication of the paper.

研究动机与目标

• 解决在低信噪比与光照不均导致图像质量下降的超暗环境中，超分辨率任务中尚未被充分探索的挑战。
• 克服级联式低光照增强与超分辨率方法在保留色彩保真度与细节方面存在的局限。
• 开发一个统一框架，同时提升亮度与放大分辨率，同时最小化伪影与光晕。
• 提出一种新颖的双流学习架构，以建模光照与语义色彩先验，提升特征层面的保留效果。
• 确保在包括极端曝光水平在内的多种超低照度条件下的鲁棒泛化能力。

提出的方法

• 提出一种自正则化亮度约束作为无监督先验，以稳定超暗场景中的光照分布。
• 设计照度-语义双调制（ISDM）作为优化中间件，贯穿解码层运行，联合保留照度与语义色彩细节。
• 通过中间组件实现ISDM：照度调制单元（IMU）与语义调制单元（SMU），实现跨分支特征调制。
• 引入分辨率敏感的融合上采样器（RSMU），融合多种采样模式作为基础，减少伪影与光晕。
• 采用多损失训练策略，结合亮度、照度与感知损失，以指导特征学习并提升真实感。
• 在RELLISUR数据集上端到端训练UltraBM框架，优化PSNR、SSIM与LPIPS指标。

实验结果

研究问题

• RQ1 统一框架能否有效同时解决超暗场景中的低光照增强与超分辨率任务，超越级联或单任务方法？
• RQ2 如何联合建模光照与语义色彩先验，以在低光照超分辨率中保留精细细节并减少色彩失真？
• RQ3 与标准上采样方法相比，分辨率敏感的上采样策略在多大程度上减轻了伪影与光晕？
• RQ4 带有ISDM的双流架构如何提升亮度与纹理细节的特征层面保留效果？
• RQ5 所提方法在不同黑暗程度（包括极端曝光条件）下的泛化能力如何？

主要发现

• UltraBM相比SOTA方法实现5%的PSNR提升与43%的LPIPS降低，证明其在感知与定量性能上的优越性。
• 该方法在不同黑暗程度下RMSE得分提升19倍，表明其在超低照度条件下具有极强的泛化能力。
• 消融实验表明，若移除ISDM，PSNR将下降0.553 dB，证实其在保留光照与色彩细节中的关键作用。
• RSMU模块相比双线性上采样提升PSNR 0.404 dB，显著减少伪影与光晕。
• 感知损失（$\mathcal{L}_P$）对LPIPS的影响最大，凸显其在提升视觉真实感中的重要性。
• 自正则化亮度约束（$\mathcal{L}_{SL}$）带来0.31 dB的PSNR增益与0.014的LPIPS改进，验证其在稳定光照方面的有效性。