[论文解读] Learning with Nested Scene Modeling and Cooperative Architecture Search for Low-Light Vision

Risheng Liu, Long Ma+3 more|arXiv (Cornell University)|Dec 9, 2021

Visual Attention and Saliency Detection被引用 9

一句话总结

该论文提出RUAS，一种用于低光照视觉的通用学习框架，通过基于Retinex的嵌套场景建模与协作可微架构搜索相结合，实现了在低光照图像增强、目标检测和语义分割任务上的最先进性能，同时计算成本更低。该方法通过无监督、基于场景能量约束的联合优化方式，同时学习场景架构与任务架构。

ABSTRACT

Images captured from low-light scenes often suffer from severe degradations, including low visibility, color cast and intensive noises, etc. These factors not only affect image qualities, but also degrade the performance of downstream Low-Light Vision (LLV) applications. A variety of deep learning methods have been proposed to enhance the visual quality of low-light images. However, these approaches mostly rely on significant architecture engineering to obtain proper low-light models and often suffer from high computational burden. Furthermore, it is still challenging to extend these enhancement techniques to handle other LLVs. To partially address above issues, we establish Retinex-inspired Unrolling with Architecture Search (RUAS), a general learning framework, which not only can address low-light enhancement task, but also has the flexibility to handle other more challenging downstream vision applications. Specifically, we first establish a nested optimization formulation, together with an unrolling strategy, to explore underlying principles of a series of LLV tasks. Furthermore, we construct a differentiable strategy to cooperatively search specific scene and task architectures for RUAS. Last but not least, we demonstrate how to apply RUAS for both low- and high-level LLV applications (e.g., enhancement, detection and segmentation). Extensive experiments verify the flexibility, effectiveness, and efficiency of RUAS.

研究动机与目标

• 解决现有低光照视觉方法严重依赖人工架构设计且难以在不同任务间泛化的问题。
• 开发一种统一框架，可联合优化场景建模与特定任务的网络架构，以适应多样化的低光照视觉应用。
• 在保持或提升低光照条件下低层与高层视觉任务性能的同时，降低计算负担。
• 实现低光照增强结果向下游感知任务（如目标检测与语义分割）的有效迁移。

提出的方法

• 将低光照视觉建模为受场景能量约束的学习问题，以捕捉内在场景属性。
• 提出一种基于Retinex的展开策略，推导出可微的训练目标，以分离光照与反射分量。
• 采用无监督的面向场景的损失函数，无需配对的真实世界数据即可指导训练。
• 提出一种协作可微架构搜索（CDAS），以联合搜索最优的场景建模与任务特定模块的网络架构。
• 采用双层优化框架，内层负责模型训练，外层通过梯度优化执行架构搜索。
• 将所学习的RUAS框架应用于低层（增强）与高层（检测、分割）视觉任务，共享场景建模模块。

实验结果

研究问题

• RQ1 统一的学习框架能否在多样化视觉任务中有效建模低光照场景特征？
• RQ2 如何联合优化场景建模与特定任务架构，以提升低光照视觉中的性能与效率？
• RQ3 在无配对监督的情况下，自监督的面向场景损失在多大程度上能提升低光照条件下的泛化能力？
• RQ4 与手工设计相比，协作架构搜索是否能带来更高效、更有效的模型？

主要发现

• 在ACDC数据集上，RUAS在低光照语义分割任务中实现了最高的mIoU，优于增强+分割流水线及SOTA方法如DANNet。
• 在ExDark数据集上，RUAS展现出优越的目标检测性能，在低能见度与噪声环境下能更准确地检测更多目标。
• 在DARK FACE数据集上，RUAS在目标检测任务中实现了最佳的平均精度与召回率，尤其在使用增强图像重新训练检测器后表现更优。
• 与基线方法相比，RUAS在复杂光照条件下的分割图中显著减少了伪影，尤其在弱光复杂场景中表现更佳。
• 在LOL数据集上，RUAS在低光照图像增强任务中达到SOTA性能，视觉质量更优且噪声更少。
• 协作架构搜索策略使模型更高效，FLOPs更低，同时保持或超越了更大规模手工设计网络的性能。