[论文解读] Bilevel Fast Scene Adaptation for Low-Light Image Enhancement

Long Ma, Dian Jin+4 more|arXiv (Cornell University)|Jun 2, 2023

Image Enhancement Techniques被引用 6

一句话总结

该论文提出了一种双层学习框架，用于在低光照图像增强中实现快速适应，通过超参数优化学习一种与场景无关的编码器和元初始化的解码器。通过建模不同低光照场景之间的潜在参数对应关系，该方法在冻结编码器权重的同时实现了快速适应，并通过强化双层学习提升了收敛性，在多个基准测试中实现了最先进性能，具备自适应去噪和双重训练损失。

ABSTRACT

Enhancing images in low-light scenes is a challenging but widely concerned task in the computer vision. The mainstream learning-based methods mainly acquire the enhanced model by learning the data distribution from the specific scenes, causing poor adaptability (even failure) when meeting real-world scenarios that have never been encountered before. The main obstacle lies in the modeling conundrum from distribution discrepancy across different scenes. To remedy this, we first explore relationships between diverse low-light scenes based on statistical analysis, i.e., the network parameters of the encoder trained in different data distributions are close. We introduce the bilevel paradigm to model the above latent correspondence from the perspective of hyperparameter optimization. A bilevel learning framework is constructed to endow the scene-irrelevant generality of the encoder towards diverse scenes (i.e., freezing the encoder in the adaptation and testing phases). Further, we define a reinforced bilevel learning framework to provide a meta-initialization for scene-specific decoder to further ameliorate visual quality. Moreover, to improve the practicability, we establish a Retinex-induced architecture with adaptive denoising and apply our built learning framework to acquire its parameters by using two training losses including supervised and unsupervised forms. Extensive experimental evaluations on multiple datasets verify our adaptability and competitive performance against existing state-of-the-art works. The code and datasets will be available at https://github.com/vis-opt-group/BL.

研究动机与目标

• 为解决现有基于学习的低光照增强方法在遭遇未见低光照场景时因分布偏移导致泛化能力差的问题。
• 探索在不同低光照数据分布上训练的编码器之间的潜在参数对应关系，发现网络参数在不同场景间保持接近。
• 开发一种双层学习框架，通过冻结编码器实现在新场景下的快速适应，降低再训练成本。
• 提出一种强化双层学习策略，用于元学习场景特定解码器的初始化，以加速适应并提升视觉质量。
• 设计一种受Retinex启发的架构，具备自适应去噪能力，并支持监督与无监督训练，以增强实用性。

提出的方法

• 通过统计分析建模与场景无关的参数对应关系，表明来自不同数据分布的编码器权重彼此接近，从而实现基于超参数的泛化。
• 提出一种双层学习（BL）框架，将编码器参数视为超参数进行优化，从而在适应过程中实现冻结。
• 引入一种强化双层学习（RBL）框架，用于元学习场景特定解码器的初始化，提升收敛速度与适应效率。
• 设计一种受Retinex启发的编码器-解码器架构，配备自适应去噪模块，可估计并去除增强特征中的噪声图。
• 该框架支持两种训练模式：监督（使用参考图像）与无监督（无需参考），通过组合损失函数实现鲁棒优化。
• 通过去噪模块对中间特征施加约束，强制实现平滑的光照估计并保留边缘细节。

实验结果

研究问题

• RQ1 能否利用不同低光照场景之间的潜在参数对应关系，实现在不重新训练编码器的前提下实现快速适应？
• RQ2 双层优化如何用于学习一种在多种低光照条件下均具有泛化能力的与场景无关的编码器？
• RQ3 与标准双层学习相比，针对解码器元初始化的强化双层学习是否能提升适应速度与视觉质量？
• RQ4 自适应去噪模块在真实世界高噪声低光照图像上的性能提升程度如何？
• RQ5 所提出的框架在监督与无监督训练设置下是否均能保持强劲性能？

主要发现

• 所提出的双层学习框架在四个基准数据集（MIT、LOL、VOC、ExDark）上实现了最先进性能，视觉质量优于FIDE与SCL。
• 在LOL数据集上，自适应去噪模块将PSNR从11.1692提升至15.4120，SSIM从0.2750提升至0.4205，显著增强了去噪能力。
• 在VOC数据集上的微调过程使PSNR从15.7692提升至16.7280，LPIPS从0.2503降至0.1987，表明仅250张图像即可实现有效适应。
• 强化双层学习（RBL）相比标准双层学习实现了更快收敛与更优性能，证实其在元初始化中的优势。
• 中间结果表明光照估计平滑且边缘细节得以保留，说明有效去噪的同时未模糊关键图像结构。
• 消融实验表明，若移除自适应去噪模块将导致严重噪声伪影，验证了其在提升鲁棒性中的关键作用。