[论文解读] End-to-End Deep HDR Imaging with Large Foreground Motions.
本文提出了一种用于大运动前景动态场景的高动态范围（HDR）成像的端到端深度学习框架，将HDR建模为图像翻译任务，无需依赖光流估计。该方法通过在遮挡、过饱和和欠曝光情况下自动重构HDR细节，显著减少了颜色伪影和几何失真，相比当前最先进方法表现更优。
This paper proposes the first end-to-end deep framework for high dynamic range (HDR) imaging of dynamic scenes with large-scale foreground motions. In state-of-the-art deep HDR imaging such as [13], the problem is formulated as an image composition problem, by first aligning input images using optical flows which are still error-prone due to occlusion and large motions. In our end-to-end approach, HDR imaging is formulated as an image translation problem and no optical flows are used. Moreover, our simple translation network can automatically hallucinate plausible HDR details in the presence of total occlusion, saturation and under-exposure, which are otherwise almost impossible to recover by conventional optimization approaches. We perform extensive qualitative and quantitative comparisons to show that our end-to-end HDR approach produces excellent results where color artifacts and geometry distortion are significantly reduced compared with existing state-ofthe-art methods.
研究动机与目标
- 解决在大运动前景和遮挡情况下，基于光流对齐的深度HDR成像方法的局限性。
- 通过将HDR建模为图像翻译问题而非图像合成问题，避免依赖易出错的光流估计。
- 在饱和、欠曝光或完全遮挡区域，实现对合理HDR细节的自动重构。
- 减少动态场景中HDR重建的色彩伪影和几何失真。
提出的方法
- 该框架将HDR成像建模为端到端的图像翻译问题，避免了光流估计的需求。
- 训练一个简单但高效的翻译网络，直接将多曝光图像映射到单一HDR输出。
- 通过隐式特征学习，网络能够推断遮挡或过饱和区域中缺失的HDR细节。
- 未执行显式的对齐或变形操作，从而减少了运动估计误差的传播。
- 采用感知损失与重建损失联合训练模型，以保持色彩保真度和结构细节。
- 该方法即使在完全遮挡或极端曝光区域，也能实现合理HDR内容的自动恢复。
实验结果
研究问题
- RQ1在大运动前景的动态场景中，是否可以不依赖光流估计实现有效的HDR成像？
- RQ2深度学习模型在饱和或完全遮挡区域中，能否成功重构合理的HDR细节？
- RQ3端到端图像翻译方法在减少色彩伪影和几何失真方面，相较于基于光流的图像合成方法，优势有多大？
- RQ4简单的网络架构是否能在无需复杂运动建模的情况下实现最先进HDR效果？
主要发现
- 与现有最先进方法相比，所提方法显著减少了色彩伪影和几何失真。
- 网络在完全遮挡、过饱和和欠曝光区域成功重构了合理的HDR细节。
- 通过消除光流估计，该方法避免了大位移区域的运动相关误差。
- 端到端训练方案在多样化动态场景中实现了更鲁棒、更一致的HDR重建。
- 定量与定性评估均证实了其在视觉质量和结构保真度方面的优越性能。
- 该方法在无需显式运动建模或对齐步骤的情况下，实现了最先进性能。
更好的研究，从现在开始
从论文设计到论文写作，大幅缩短您的研究时间。
无需绑定信用卡
本解读由 AI 生成，并经人工编辑审核。