[论文解读] Dancing under the stars: video denoising in starlight

Kristina Monakhova, Stephan R. Richter+2 more|arXiv (Cornell University)|Apr 8, 2022

Image and Signal Denoising Methods被引用 4

一句话总结

本论文提出了一种在星光条件下（低于0.001 lux）实现首次逼真视频去噪的方法，采用经过GAN调优的基于物理的噪声模型来模拟真实的低光照噪声。通过将噪声生成器合成的噪声视频与真实高增益静止图像相结合，作者训练了一种视频去噪网络，在亚毫拉克斯条件下实现了卓越的时间一致性与细节保留，从而实现了在银河系下对运动物体的清晰视频捕捉。

ABSTRACT

Imaging in low light is extremely challenging due to low photon counts. Using sensitive CMOS cameras, it is currently possible to take videos at night under moonlight (0.05-0.3 lux illumination). In this paper, we demonstrate photorealistic video under starlight (no moon present, $

研究动机与目标

• 在极端低光照条件下（特别是低于0.001 lux的星光水平）实现逼真视频去噪。
• 解决高增益低光照成像中非高斯、传感器特异性噪声的问题，该问题会破坏传统去噪方法的性能。
• 开发一种数据高效的训练流程，通过利用静止图像序列和合成视频，避免对运动对齐的干净/噪声视频对的需求。
• 展示在无月夜条件下拍摄并去噪5–10 fps动态场景视频的可行性。

提出的方法

• 使用有限数量的长曝光与短曝光静止图像对，训练一种基于物理启发的噪声生成器，以在相机最高增益设置下合成逼真的噪声。
• 通过对抗生成网络（GAN）框架训练噪声生成器，其中判别器用于区分真实噪声与合成噪声，确保高保真度的噪声建模。
• 利用混合数据集训练视频去噪网络，该数据集结合了通过噪声模型生成的合成干净/噪声视频片段，以及来自同一台相机的真实噪声静止图像序列。
• 去噪网络基于改进的FastDVDnet架构，经微调以处理目标传感器特有的非高斯噪声特性。
• 训练过程将噪声建模与去噪分离，使噪声生成器可固定，而去噪网络则在合成与真实数据的组合上进行优化。
• 通过利用视频专用的架构组件和损失函数，提升时间一致性，最小化帧间闪烁。

Figure 1: Method overview. (a) First we train our noise generator along with a discriminator, which aims to distinguish between real and synthetic noise. We use a limited dataset of long exposure/low gain and short exposure/high gain non-moving image pairs during this training process. After trainin

实验结果

研究问题

• RQ1 能否在极低光照条件（低于0.001 lux）的星光环境下实现逼真视频去噪？
• RQ2 当传统噪声假设（如高斯分布）失效时，如何为高增益、低光照成像学习一个逼真的噪声模型？
• RQ3 在亚毫拉克斯照度条件下，一种在合成数据和真实静止图像上训练的视频去噪网络，能在多大程度上泛化到真实世界的动态视频序列？
• RQ4 与SOTA视频去噪方法（如V-BM4D和FastDVDnet）相比，所提方法在性能和时间一致性方面表现如何？

主要发现

• 作者成功在无月星光下（0.6–0.7毫拉克斯，即0.0006–0.0007 lux）捕捉到5–10 fps的视频，首次实现了在该光照水平下对运动物体的视频记录。
• 与V-BM4D和预训练的FastDVDnet相比，所提方法在图像质量方面表现更优，且闪烁现象显著减少，后者表现出严重的时序伪影和条纹噪声。
• 在10名参与者、共300次比较的盲测A/B测试中，所提方法在95%的情况下被评价为图像质量优于其他方法。
• 该去噪网络在保留细粒度细节（如恒星）和动态运动方面，优于经典方法（V-BM4D）和基于深度学习的方法（FastDVDnet、L2SID）。
• Noise2Self因结构化噪声模式而失败，凸显了当噪声高度相关且非独立同分布时，自监督方法的局限性。
• 该方法对快速移动物体（如流星）具有鲁棒性，在去噪输出中未出现细节丢失或严重伪影。

Figure 2: Physics-inspired noise generator. Our noise generator takes in a clean image and produces a synthetic noisy image. During training, our physics-inspired statistical noise parameters are optimized along with a U-Net to produce a synthetic noisy image that is indistinguishable from a real no