[论文解读] Attention-guided Network for Ghost-free High Dynamic Range Imaging

Qingsen Yan, Dong Gong+5 more|arXiv (Cornell University)|Apr 23, 2019

Image Enhancement Techniques参考文献 31被引用 15

一句话总结

本文提出AHDRNet，一种端到端的注意力引导深度神经网络，用于无鬼影高动态范围（HDR）成像。该方法通过使用可学习的注意力模块，在合并过程中抑制错位和过曝区域，从而绕过光流估计。该方法采用空洞残差密集块以增强特征层次结构和感受野，实现了最先进的性能，显著减少了动态场景中运动和过曝情况下的鬼影现象，并提升了细节恢复能力。

ABSTRACT

Ghosting artifacts caused by moving objects or misalignments is a key challenge in high dynamic range (HDR) imaging for dynamic scenes. Previous methods first register the input low dynamic range (LDR) images using optical flow before merging them, which are error-prone and cause ghosts in results. A very recent work tries to bypass optical flows via a deep network with skip-connections, however, which still suffers from ghosting artifacts for severe movement. To avoid the ghosting from the source, we propose a novel attention-guided end-to-end deep neural network (AHDRNet) to produce high-quality ghost-free HDR images. Unlike previous methods directly stacking the LDR images or features for merging, we use attention modules to guide the merging according to the reference image. The attention modules automatically suppress undesired components caused by misalignments and saturation and enhance desirable fine details in the non-reference images. In addition to the attention model, we use dilated residual dense block (DRDB) to make full use of the hierarchical features and increase the receptive field for hallucinating the missing details. The proposed AHDRNet is a non-flow-based method, which can also avoid the artifacts generated by optical-flow estimation error. Experiments on different datasets show that the proposed AHDRNet can achieve state-of-the-art quantitative and qualitative results.

研究动机与目标

• 解决由运动物体和动态场景中图像错位引起的HDR成像鬼影伪影问题。
• 消除对光流估计的依赖，以避免引入误差并传播伪影。
• 开发一种非光流基的深度学习框架，以保留精细细节并抑制过曝或错位区域。
• 通过注意力机制增强非参考LDR图像之间的互补特征，从而提升HDR图像质量。
• 在大范围运动和严重过曝等复杂条件下，实现鲁棒的HDR重建。

提出的方法

• 所提出的AHDRNet使用一种新型注意力模块，生成软注意力图，突出显示来自非参考LDR图像的相关特征，并抑制易产生鬼影的区域。
• 注意力机制通过根据特征与参考图像的相关性动态加权，引导合并过程，从而减少运动和过曝带来的干扰。
• 采用空洞残差密集块（DRDBs）聚合层次化特征，并扩展感受野，以在过曝或遮挡区域中“幻觉”恢复缺失细节。
• 网络以端到端的非光流方式训练，避免了光流估计和错位带来的误差。
• 输入的LDR图像首先经过特征提取，随后进行注意力引导融合，并通过DRDB进行优化，最终生成HDR输出。
• 模型采用感知损失与重建损失的组合进行训练，以保持结构和色彩保真度。

实验结果

研究问题

• RQ1 基于深度学习的HDR方法是否能在不依赖光流估计的情况下实现无鬼影效果？
• RQ2 注意力机制在HDR合并过程中抑制错位和过曝区域的效率如何？
• RQ3 空洞残差密集块在遮挡或过曝区域中对细节恢复的提升程度如何？
• RQ4 与基于光流和单图像HDR方法相比，所提方法在伪影抑制和细节保留方面表现如何？
• RQ5 注意力引导融合机制是否能在包含复杂运动和过曝的多样化动态场景中实现良好泛化？

主要发现

• 在Kalantari等人数据集上，AHDRNet在PSNR-μ（43.6172）和PSNR-M（33.0429）指标上均达到最高，优于所有当前最先进方法。
• 当与光流对齐结合使用时（Ours+OF），PSNR-μ达到43.9764，尽管使用了相同的对齐方式，仍略优于Kalantari等人[15]。
• 在无真实值的数据集上，AHDRNet生成的图像在视觉质量上显著优于现有方法，鬼影、噪声和色彩失真均明显减少。
• 定性对比中的局部放大图证实，注意力机制能有效抑制大范围运动和过曝区域的鬼影伪影。
• 模型展现出强大的泛化能力，即使在输入图像存在错位或过曝区域时，仍能生成高质量的HDR输出。
• 定量结果表明，AHDRNet在HDR-VDP-2指标上取得最佳得分（62.3044），表明其具有优越的主观感知质量。