[论文解读] HDR Reconstruction from Bracketed Exposures and Events

Richard A. Shaw, Sibi Catley-Chandar+2 more|arXiv (Cornell University)|Mar 28, 2022

Advanced Vision and Imaging被引用 5

一句话总结

本文提出了一种新颖的端到端学习型HDR重建方法，通过融合来自脉冲相机的分段LDR图像与事件流，克服了单模态方法的局限性。通过使用基于注意力的特征融合、多尺度空间对齐，以及自监督的事件到图像特征蒸馏模块，该方法实现了最先进性能，在HdM HDR数据集上相比先前方法将PSNR-L提高了2dB，PSNR-μ提高了1dB。

ABSTRACT

Reconstruction of high-quality HDR images is at the core of modern computational photography. Significant progress has been made with multi-frame HDR reconstruction methods, producing high-resolution, rich and accurate color reconstructions with high-frequency details. However, they are still prone to fail in dynamic or largely over-exposed scenes, where frame misalignment often results in visible ghosting artifacts. Recent approaches attempt to alleviate this by utilizing an event-based camera (EBC), which measures only binary changes of illuminations. Despite their desirable high temporal resolution and dynamic range characteristics, such approaches have not outperformed traditional multi-frame reconstruction methods, mainly due to the lack of color information and low-resolution sensors. In this paper, we propose to leverage both bracketed LDR images and simultaneously captured events to obtain the best of both worlds: high-quality RGB information from bracketed LDRs and complementary high frequency and dynamic range information from events. We present a multi-modal end-to-end learning-based HDR imaging system that fuses bracketed images and event modalities in the feature domain using attention and multi-scale spatial alignment modules. We propose a novel event-to-image feature distillation module that learns to translate event features into the image-feature space with self-supervision. Our framework exploits the higher temporal resolution of events by sub-sampling the input event streams using a sliding window, enriching our combined feature representation. Our proposed approach surpasses SoTA multi-frame HDR reconstruction methods using synthetic and real events, with a 2dB and 1dB improvement in PSNR-L and PSNR-mu on the HdM HDR dataset, respectively.

研究动机与目标

• 解决使用传统LDR相机进行多帧HDR重建时存在的运动伪影与过曝问题。
• 克服仅使用事件的HDR方法的局限性，例如缺乏色彩信息与低空间分辨率。
• 在统一框架中整合分段LDR图像（色彩、精细细节）与事件数据（高时间分辨率、动态范围）的互补优势。
• 开发一种自监督特征蒸馏机制，将事件特征转换到图像特征空间，而无需依赖强度图像。
• 通过多尺度滑动窗口事件子采样与空间对齐，提升动态与过曝场景中HDR重建的鲁棒性。

提出的方法

• 该框架采用端到端深度学习架构，通过交叉注意力机制在特征域中融合分段LDR图像与事件流的特征。
• 多尺度空间对齐模块通过滑动窗口事件子采样策略，利用事件的高时间分辨率，将事件特征与图像特征对齐。
• 事件到图像的特征蒸馏模块通过对应LDR特征的自监督学习，将事件特征映射到图像特征空间，从而无需中间强度图像。
• 模型在合成数据与真实世界数据上进行端到端训练，损失函数针对PSNR-L与PSNR-μ指标进行优化。
• 通过时间滑动窗口处理事件流，以提取高频运动线索，并在时间维度上增强特征表示。
• 最终通过一个细化头将融合、对齐与蒸馏后的特征组合生成HDR输出。

实验结果

研究问题

• RQ1 与单模态方法相比，结合分段LDR图像与事件数据是否能提升在动态与过曝场景中的HDR重建性能？
• RQ2 如何在不依赖基于强度的监督条件下，有效将事件特征转换到图像特征空间？
• RQ3 使用滑动窗口对事件流进行子采样，是否能增强时间分辨率的利用并改善特征对齐？
• RQ4 从LDR特征进行自监督蒸馏，是否能提升基于事件的特征表示，从而改善HDR重建？
• RQ5 在PSNR与视觉质量方面，LDR与事件数据的多模态融合与仅图像或仅事件的基线方法相比表现如何？

主要发现

• 与最先进多帧HDR方法相比，所提方法在HdM HDR数据集上实现了PSNR-L提升2dB、PSNR-μ提升1dB。
• 消融实验表明，每个组件——事件子采样、对齐与事件到图像的蒸馏——均对性能提升有贡献，完整模型表现最佳。
• 在存在运动与过曝的场景中，该方法优于仅使用事件或单张LDR的方法，后者常因鬼影与错位而表现不佳。
• 自监督的事件到图像特征蒸馏模块实现了无需强度图像的高效特征转换，提升了鲁棒性与细节恢复能力。
• 视觉结果表明，该方法在高频频段细节（如边缘与纹理）方面表现更优，尤其在天空过渡与闪光灯等过曝区域。
• 在静态场景中，该模型性能与仅图像的SOTA方法（如ADNet）相当，展现出对场景动态变化的强鲁棒性。