[论文解读] Low-Light Video Enhancement with Synthetic Event Guidance

Lin Liu, Junfeng An+7 more|arXiv (Cornell University)|Aug 23, 2022

Image Enhancement Techniques被引用 5

一句话总结

本文提出了一种三阶段低光照视频增强框架，利用合成事件引导恢复过程，采用事件与图像融合变换（EIFT）模块和事件引导双分支（EGDB）模块。该方法在合成与真实低光照视频数据集上均优于当前最先进方法，有效降低了噪声，保留了细节，并消除了多帧融合伪影，尤其在极端低光照或高速运动条件下表现优异。

ABSTRACT

Low-light video enhancement (LLVE) is an important yet challenging task with many applications such as photographing and autonomous driving. Unlike single image low-light enhancement, most LLVE methods utilize temporal information from adjacent frames to restore the color and remove the noise of the target frame. However, these algorithms, based on the framework of multi-frame alignment and enhancement, may produce multi-frame fusion artifacts when encountering extreme low light or fast motion. In this paper, inspired by the low latency and high dynamic range of events, we use synthetic events from multiple frames to guide the enhancement and restoration of low-light videos. Our method contains three stages: 1) event synthesis and enhancement, 2) event and image fusion, and 3) low-light enhancement. In this framework, we design two novel modules (event-image fusion transform and event-guided dual branch) for the second and third stages, respectively. Extensive experiments show that our method outperforms existing low-light video or single image enhancement approaches on both synthetic and real LLVE datasets.

研究动机与目标

• 解决强噪声与运动导致的多帧融合伪影在低光照视频增强（LLVE）中的挑战。
• 克服传统基于帧的对齐方法在极端低光照或高运动场景下的局限性。
• 利用从传统视频帧生成的合成事件，为增强提供高动态范围、低延迟的引导信号。
• 通过三阶段流水线，利用增强事件作为监督信号，提升噪声抑制与细节恢复能力。
• 设计新型模块（EIFT与EGDB），以有效融合稀疏事件特征与图像特征，并自适应处理全局与局部区域。

提出的方法

• 使用预训练的事件生成模型，从低光照视频帧中合成逼真的合成事件，生成时间一致的事件体素。
• 在第一阶段应用事件恢复网络，对低光照事件体素进行增强，降低噪声与色彩偏移，同时保留运动细节。
• 设计事件与图像融合变换（EIFT）模块，通过跨通道变换与逐元素相乘，动态融合事件与图像特征。
• 引入事件引导双分支（EGDB）模块，利用事件生成的掩码将图像分割为全局（基于Transformer）与局部（残差）分支，实现自适应处理。
• 利用增强后的事件体素生成空间掩码，引导EGDB模块区分静态与动态区域，实现针对性增强。
• 端到端训练三阶段流水线：事件合成/恢复 → 事件-图像融合（通过EIFT） → 低光照增强（通过EGDB），优化PSNR、SSIM与LPIPS指标。

实验结果

研究问题

• RQ1 在极端光照或运动条件下，合成事件能否有效缓解低光照视频增强中的多帧融合伪影？
• RQ2 与传统基于帧的对齐方法相比，事件引导融合在保留图像细节与降低噪声方面表现如何？
• RQ3 所提出的EIFT与EGDB模块在低光照视频增强中，相较于基线架构能提升多少性能？
• RQ4 在无真实标签监督的情况下，事件引导增强是否能泛化至真实世界低光照视频？
• RQ5 相较于现有方法，基于事件的引导是否能提升低光照视频增强中的白平衡与色彩保真度？

主要发现

• 在SDSD数据集上，该方法达到PSNR 25.81、SSIM 0.80与LPIPS 0.126，优于SOTA方法（包括SDSDNet与KinD++）。
• 消融实验表明，移除EIFT模块导致PSNR下降0.29dB，证明其在特征融合中的有效性。
• EGDB模块贡献显著：移除全局分支导致PSNR下降0.47dB，移除局部分支导致下降0.39dB。
• 事件引导至关重要——移除事件引导导致PSNR下降1.54dB，证实其在抑制伪影与提升保真度方面的作用。
• 在Loli-Phone真实世界数据集上，该方法生成的图像更清晰，色彩伪影更少，白平衡更优，优于MBLLVEN、RRDNet与SMOID。
• 视觉结果表明，恢复后的事件体素噪声与色彩偏移显著减少，从而更准确地重建了运动与纹理细节。