[论文解读] ADNet: Attention-guided Deformable Convolutional Network for High Dynamic Range Imaging

Zhen Liu, Wenjie Lin+7 more|arXiv (Cornell University)|May 22, 2021

Image Enhancement Techniques参考文献 36被引用 7

一句话总结

ADNet 提出了一种双分支注意力引导可变形卷积网络，用于手持多帧 HDR 成像，通过在 LDR 图像上使用空间注意力模块，并在伽马校正图像上使用金字塔级联可变形（PCD）对齐模块，有效抑制噪声和伪影，同时提升融合精度。该方法在 NTIRE 2021 挑战赛中实现了 SOTA 性能，PSNR-ℓ 为 39.4471，PSNR-μ 为 37.6359。

ABSTRACT

In this paper, we present an attention-guided deformable convolutional network for hand-held multi-frame high dynamic range (HDR) imaging, namely ADNet. This problem comprises two intractable challenges of how to handle saturation and noise properly and how to tackle misalignments caused by object motion or camera jittering. To address the former, we adopt a spatial attention module to adaptively select the most appropriate regions of various exposure low dynamic range (LDR) images for fusion. For the latter one, we propose to align the gamma-corrected images in the feature-level with a Pyramid, Cascading and Deformable (PCD) alignment module. The proposed ADNet shows state-of-the-art performance compared with previous methods, achieving a PSNR-$l$ of 39.4471 and a PSNR-$μ$ of 37.6359 in NTIRE 2021 Multi-Frame HDR Challenge.

研究动机与目标

• 解决手持多帧 HDR 成像中的噪声、过曝与错位问题。
• 通过自适应选择不同曝光 LDR 图像中可靠区域，提升融合质量。
• 通过利用特征级别的形变机制，增强对运动或抖动场景的对齐能力。
• 超越现有学习型方法对 LDR 与伽马校正图像采用统一处理方式的局限。
• 在无伪影或模糊的前提下，实现最先进的 HDR 重建性能。

提出的方法

• 采用双分支网络架构，分别处理 LDR 图像及其伽马校正后的对应图像。
• 在 LDR 图像上应用空间注意力模块，动态抑制过曝或噪声区域，聚焦于曝光良好的区域。
• 在伽马校正图像上使用金字塔级联可变形（PCD）对齐模块，在多级特征上实现对齐，提升对运动与抖动的鲁棒性。
• PCD 模块通过学习非均匀采样偏移量，实现精确的特征级对齐，减少错位伪影。
• 通过融合网络将双分支的特征进行融合，重建高质量的 HDR 输出。
• 在测试阶段应用数据增强（TTA），生成四种图像变体（原始、置换、翻转），以提升模型鲁棒性与性能。

实验结果

研究问题

• RQ1 采用对 LDR 与伽马校正图像区别处理的双分支网络设计，是否能提升 HDR 重建质量？
• RQ2 在 LDR 图像上使用空间注意力模块，是否能更有效地抑制过曝与噪声区域？
• RQ3 在伽马校正特征上使用 PCD 对齐模块，是否能优于传统光流或全局单应变换，更好地处理运动与错位？
• RQ4 与先前基于学习的 HDR 方法相比，所提方法是否显著降低了伪影与噪声？
• RQ5 与输入统一拼接的方式相比，采用双分支设计并分别处理是否能更显著提升 PSNR 与视觉质量？

主要发现

• ADNet 在 NTIRE 2021 多帧 HDR 挑战赛中取得 PSNR-ℓ 为 39.4471、PSNR-μ 为 37.6359 的成绩，超越此前 SOTA 方法。
• 该方法显著减少了伪影与噪声，尤其在过曝或运动影响区域，与 AHDRNet 的定性对比显示其优势。
• 空间注意力模块有效抑制了过曝与欠曝区域，聚焦于曝光良好的区域，注意力图可视化结果清晰呈现该效果。
• PCD 对齐模块提升了特征级对齐能力，尤其在复杂运动场景下表现优异，相比单尺度可变形基线，PSNR-ℓ 提升 1.2 dB。
• 消融实验证实，采用独立注意力与对齐模块的双分支设计优于单分支拼接结构，相比基线 AHDRNet，PSNR-ℓ 提升 1.86 dB。
• 测试阶段增强（TTA）的引入进一步提升了性能，证明了所提架构的鲁棒性。