[论文解读] HDR Video Reconstruction with Tri-Exposure Quad-Bayer Sensors

Yitong Jiang, Inchang Choi+2 more|arXiv (Cornell University)|Mar 19, 2021

Image Enhancement Techniques参考文献 38被引用 11

一句话总结

本文提出了一种新颖的深度学习框架，用于使用三重曝光四 Bayer 传感器进行高动态范围（HDR）视频重建，该方法实现了帧间空间均匀的曝光采样。该方法采用模块化网络结构，结合 HDR 特征融合、基于注意力的时序去噪以及门控超分辨率技术，有效缓解了运动模糊、噪声和空间伪影问题，在高动态范围与运动并存的复杂场景中实现了最先进性能，尤其当结合一种新型的 LDR 重建损失函数以平衡亮部与暗部区域贡献时效果更佳。

ABSTRACT

We propose a novel high dynamic range (HDR) video reconstruction method with new tri-exposure quad-bayer sensors. Thanks to the larger number of exposure sets and their spatially uniform deployment over a frame, they are more robust to noise and spatial artifacts than previous spatially varying exposure (SVE) HDR video methods. Nonetheless, the motion blur from longer exposures, the noise from short exposures, and inherent spatial artifacts of the SVE methods remain huge obstacles. Additionally, temporal coherence must be taken into account for the stability of video reconstruction. To tackle these challenges, we introduce a novel network architecture that divides-and-conquers these problems. In order to better adapt the network to the large dynamic range, we also propose LDR-reconstruction loss that takes equal contributions from both the highlighted and the shaded pixels of HDR frames. Through a series of comparisons and ablation studies, we show that the tri-exposure quad-bayer with our solution is more optimal to capture than previous reconstruction methods, particularly for the scenes with larger dynamic range and objects with motion.

研究动机与目标

• 通过利用新型传感器架构实现帧内均匀的三重曝光采样，解决现有 HDR 视频方法的局限性——如运动引起的鬼影、短曝光导致的噪声以及空间伪影。
• 通过设计包含注意力机制与超分辨率模块的模块化深度学习网络，提升 HDR 视频重建的时序一致性并减少伪影。
• 开发一种新型的 LDR 重建损失函数，确保 HDR 输出中过曝与欠曝区域的贡献均衡，从而提升整体图像质量。

提出的方法

• 提出一种三重曝光四 Bayer 传感器，将长、中、短曝光在每个彩色滤光片上均匀分布，相比交错式或基于突发的采集方法，显著减少了空间伪影。
• 设计一种模块化网络架构，包含三个核心组件：用于实现运动鲁棒 HDR 估计的 HDR 特征融合模块、用于多帧降噪的基于注意力的时序去噪模块，以及用于伪影与分辨率恢复的门控超分辨率模块。
• 采用一种新型的 LDR 重建损失函数，使 HDR 输出中亮部与暗部像素的贡献权重相等，从而提升对极端动态范围的鲁棒性。
• 将下采样后的四 Bayer 图像与原始图像堆叠作为超分辨率模块的输入，以实现更优的特征提取与分辨率增强。
• 采用端到端训练策略，结合 LDR 重建损失，以优化网络的感知质量与动态范围保持能力。
• 通过消融实验对比包含与不包含注意力机制、门控结构与多帧输入的变体，验证架构设计的有效性。

实验结果

研究问题

• RQ1 与传统的单帧曝光（SVE）或基于突发的 HDR 方法相比，具有帧内均匀曝光采样的三重曝光四 Bayer 传感器是否能有效减少空间伪影与噪声？
• RQ2 包含模块化组件（HDR 融合、时序去噪、超分辨率）的深度学习网络在缓解 HDR 视频中的运动模糊与时序不稳定性方面效果如何？
• RQ3 一种新型的 LDR 重建损失函数，若能均衡过曝与欠曝区域的贡献，是否能提升 HDR 重建质量与鲁棒性？
• RQ4 多帧输入与门控超分辨率对 HDR 视频重建中分辨率恢复与伪影抑制有何影响？
• RQ5 在高动态范围与运动并存的场景下，所提方法在定量与定性指标上是否优于现有 HDR 视频技术？

主要发现

• 采用多帧输入与 LDR 重建损失的所提方法（Multi+LDR）在 PSNR-μ（36.42）、PuPSNR（42.45）、HDR-VDP（48.47）与 HDR-VQM（0.9247）四项指标上均达到最高，显著优于所有消融变体。
• GSR+OR 网络（在门控超分辨率模块中使用原始四 Bayer 输入）在 PSNR-μ（36.06）与 HDR-VDP（48.47）上表现最佳，证明了全分辨率特征提取的优势。
• 基于注意力的时序去噪模块显著降低了暗部与饱和区域的噪声与伪影，PSNR 与视觉质量均优于基线模型。
• LDR 重建损失在噪声与高动态范围场景下表现出更强鲁棒性，当使用多帧输入时，HDR-VDP 相较于 TM 损失基线提升 0.43 分。
• 门控超分辨率模块优于朴素的超分辨率模块，PSNR-μ 提升 0.81 分，HDR-VDP 提升 0.25 分，证实其在伪影抑制方面的有效性。
• 消融实验表明，HDR 融合（含注意力）、时序去噪与门控超分辨率三个模块均对最终性能提升有独立且累积的贡献。