[论文解读] HDR Denoising and Deblurring by Learning Spatio-temporal Distortion Models

Uğur Çoğalan, Mojtaba Bemana+3 more|arXiv (Cornell University)|Dec 22, 2020

Advanced Image Processing Techniques参考文献 108被引用 4

一句话总结

本文提出了一种深度学习方法，通过学习从干净图像到失真图像的失真模型（而非传统的从失真图像到干净图像的方法），实现从双曝光传感器重建高动态范围（HDR）视频。通过从有限的干净HDR数据中合成逼真的噪声、运动模糊和行/列伪影，并利用高速LDR视频模拟运动模糊，该方法在HDR去噪和去模糊方面达到最先进水平，显著提升了独立性能以及下游方法（如BM3D）在使用其合成数据微调后的准确性。

ABSTRACT

We seek to reconstruct sharp and noise-free high-dynamic range (HDR) video from a dual-exposure sensor that records different low-dynamic range (LDR) information in different pixel columns: Odd columns provide low-exposure, sharp, but noisy information; even columns complement this with less noisy, high-exposure, but motion-blurred data. Previous LDR work learns to deblur and denoise (DISTORTED->CLEAN) supervised by pairs of CLEAN and DISTORTED images. Regrettably, capturing DISTORTED sensor readings is time-consuming; as well, there is a lack of CLEAN HDR videos. We suggest a method to overcome those two limitations. First, we learn a different function instead: CLEAN->DISTORTED, which generates samples containing correlated pixel noise, and row and column noise, as well as motion blur from a low number of CLEAN sensor readings. Second, as there is not enough CLEAN HDR video available, we devise a method to learn from LDR video in-stead. Our approach compares favorably to several strong baselines, and can boost existing methods when they are re-trained on our data. Combined with spatial and temporal super-resolution, it enables applications such as re-lighting with low noise or blur.

研究动机与目标

• 解决HDR重建中缺乏干净HDR视频以及获取失真传感器读数耗时的问题。
• 克服现有方法假设简单噪声或模糊模型的局限性，这些模型不适用于具有相关噪声和交替模糊的双曝光传感器。
• 开发一种数据高效训练策略，利用从干净图像到失真图像的生成模型，合成用于HDR重建的真实训练数据。
• 通过结合去噪、去模糊以及空间/时间超分辨率，实现高质量HDR重建，包括重照明和超分辨率。

提出的方法

• 该方法学习一个生成式失真模型，将干净HDR图像映射为包含相关像素噪声、行/列噪声和交替运动模糊的逼真传感器读数。
• 利用简单的直方图统计方法，从少量干净-失真图像对中建模复杂且非参数化的噪声分布。
• 为模拟与曝光相关的运动模糊，利用高速LDR视频合成与传感器行为匹配的列交替模糊模式。
• 使用此合成数据端到端训练网络，即使在真实HDR数据有限的情况下，也能实现鲁棒的去噪与去模糊。
• 通过在训练期间扩展输出至多帧或更大图像块，该框架支持时空超分辨率。
• 通过生成无噪声、清晰的HDR图像，支持重照明应用，适用于路径追踪和色调映射。

实验结果

研究问题

• RQ1 从干净图像到失真图像的生成式失真模型是否能有效替代HDR重建中对大规模真实失真-干净配对数据的需求？
• RQ2 利用有限干净HDR样本生成的、包含逼真噪声和运动模糊模式的合成训练数据，是否能实现最先进的HDR去噪与去模糊性能？
• RQ3 从高速LDR视频中学习是否能实现对双曝光传感器中列交替运动模糊的准确模拟？
• RQ4 当在合成数据上微调时，所提出的方法是否能提升现有去噪器（如BM3D）的性能？
• RQ5 该方法在多大程度上能支持高级应用，如HDR重照明和超分辨率？

主要发现

• 所提方法在极端曝光比（如16:1）下，实现了最先进的HDR重建质量，在去噪和去模糊方面均优于现有基线方法。
• 通过在合成数据上训练，该方法在时间超分辨率中将重建误差降低至0.026，在空间超分辨率中降低至0.035，优于独立方法。
• 当在合成数据上微调时，BM3D等现有方法表现出显著的性能提升，证明了该数据的泛化能力与实用性。
• 该方法成功消除了行和列噪声，同时保留了锐利的阴影和明亮高光，如路径追踪渲染所示，可实现VR/AR应用中的精确重照明。
• 利用高速LDR视频可有效模拟与曝光相关的运动模糊，这对双曝光传感器中真实失真建模至关重要。
• 通过联合去噪、去模糊与超分辨率的端到端训练，相比逐个应用各组件，能获得更优结果。