[论文解读] LAN-HDR: Luminance-based Alignment Network for High Dynamic Range Video Reconstruction

Haesoo Chung, Nam Ik Cho|arXiv (Cornell University)|Aug 22, 2023

Advanced Vision and ImagingComputer Science被引用 3

一句话总结

本文提出LAN-HDR，一种端到端的HDR视频重建框架，该框架用基于亮度的注意力机制替代光流以实现运动对齐，并采用门控卷积幻觉模块来恢复过曝区域的细节。通过自适应混合层融合对齐与幻觉特征，并应用时间一致性损失，该方法在视觉质量方面优于最先进方法，且闪烁现象显著减少。

ABSTRACT

As demands for high-quality videos continue to rise, high-resolution and high-dynamic range (HDR) imaging techniques are drawing attention. To generate an HDR video from low dynamic range (LDR) images, one of the critical steps is the motion compensation between LDR frames, for which most existing works employed the optical flow algorithm. However, these methods suffer from flow estimation errors when saturation or complicated motions exist. In this paper, we propose an end-to-end HDR video composition framework, which aligns LDR frames in the feature space and then merges aligned features into an HDR frame, without relying on pixel-domain optical flow. Specifically, we propose a luminance-based alignment network for HDR (LAN-HDR) consisting of an alignment module and a hallucination module. The alignment module aligns a frame to the adjacent reference by evaluating luminance-based attention, excluding color information. The hallucination module generates sharp details, especially for washed-out areas due to saturation. The aligned and hallucinated features are then blended adaptively to complement each other. Finally, we merge the features to generate a final HDR frame. In training, we adopt a temporal loss, in addition to frame reconstruction losses, to enhance temporal consistency and thus reduce flickering. Extensive experiments demonstrate that our method performs better or comparable to state-of-the-art methods on several benchmarks.

研究动机与目标

• 为解决基于光流的运动补偿在HDR视频重建中的局限性，特别是在过曝或快速运动区域的性能问题。
• 通过利用亮度特征而非颜色进行内容匹配，提升对齐精度。
• 通过亮度自适应卷积恢复因曝光过曝而变白的区域中的锐利细节。
• 通过引入新型时间一致性损失，确保重建HDR视频的时间连贯性。

提出的方法

• 对齐模块采用双路径结构，通过参考帧与邻近帧亮度（Y）通道之间的自注意力机制实现基于内容的特征对齐。
• 幻觉模块采用基于亮度的掩码进行门控卷积，自适应增强极暗与极亮区域的细节。
• 自适应混合层学习空间可变权重，融合来自对齐与幻觉模块的特征，抑制不可靠区域。
• 框架使用下采样后的Y通道进行高效注意力计算，同时保留全分辨率输入以实现细节恢复。
• 引入时间损失以最小化预测帧差与真实帧差之间的差异，提升运动一致性。
• 整个流程通过帧重建损失与时间一致性损失端到端训练。

实验结果

研究问题

• RQ1 在过曝或复杂运动场景下，基于亮度的注意力机制是否能相比光流提升HDR视频重建中的运动对齐精度？
• RQ2 基于亮度掩码的自适应门控卷积在恢复过曝或欠曝区域的精细细节方面效果如何？
• RQ3 自适应混合机制是否能有效结合对齐与幻觉模块的特征，从而减少伪影？
• RQ4 时间一致性损失在多大程度上可减少重建HDR视频中的闪烁现象并提升运动平滑性？
• RQ5 用特征空间注意力替代像素域光流，是否能带来整体HDR视频质量的提升？

主要发现

• 所提方法在时间一致性度量上达到PSNR 38.22与SSIM 0.9100，优于未使用时间损失的基线模型。
• 在PU度量上，加入幻觉模块与基于亮度的掩码后，模型达到PSNR 40.04，显著优于未使用自适应卷积的模型。
• 消融实验表明，使用Y通道进行注意力计算而非RGB或颜色抖动输入，可获得最佳对齐性能。
• 自适应混合层有效抑制了过曝区域中模糊或错位的特征，表现为这些区域的混合权重较低。
• 时间损失在时间度量上同时提升了PSNR与SSIM，证明其在减少闪烁与增强运动一致性方面的有效性。
• 视觉对比显示，与先前方法相比，本方法在运动与过曝区域中生成了更锐利的纹理，尤其在具有挑战性的序列中表现更优。