[论文解读] Diffusion in the Dark: A Diffusion Model for Low-Light Text Recognition

Cindy M. Nguyen, Eric R. Chan+2 more|arXiv (Cornell University)|Mar 7, 2023

Image and Signal Denoising Methods被引用 5

一句话总结

本文提出 Diffusion in the Dark (DiD)，一种用于低光照图像重建的条件扩散模型，可保留对文本识别至关重要的高频细节。DiD 在黑暗、嘈杂的图像块上进行训练，在无需任务特定微调的情况下，优于当前最先进方法，在低光照文本识别任务中取得最先进定量结果，并在真实低光照条件下实现更优的细节恢复。

ABSTRACT

Capturing images is a key part of automation for high-level tasks such as scene text recognition. Low-light conditions pose a challenge for high-level perception stacks, which are often optimized on well-lit, artifact-free images. Reconstruction methods for low-light images can produce well-lit counterparts, but typically at the cost of high-frequency details critical for downstream tasks. We propose Diffusion in the Dark (DiD), a diffusion model for low-light image reconstruction for text recognition. DiD provides qualitatively competitive reconstructions with that of state-of-the-art (SOTA), while preserving high-frequency details even in extremely noisy, dark conditions. We demonstrate that DiD, without any task-specific optimization, can outperform SOTA low-light methods in low-light text recognition on real images, bolstering the potential of diffusion models to solve ill-posed inverse problems.

研究动机与目标

• 为解决低光照图像重建在高层视觉任务（尤其是文本识别）中的挑战，现有方法无法保留高频细节。
• 开发一种在极端黑暗、嘈杂图像中同时保持美学质量与结构保真度的重建方法。
• 探索扩散模型在解决低光照成像中病态逆问题的潜力，尤其当高频细节至关重要时。
• 证明扩散模型在低信噪比环境下，相比 GAN 或自编码器，能更优地重建细粒度纹理与边缘。
• 提供一种可泛化、计算高效的通用方法，适用于多种真实世界低光照场景，无需重新训练。

提出的方法

• DiD 采用在低光照图像裁剪块上训练的条件扩散模型，以重建全分辨率、光照充足的输出，同时保留高频细节。
• 模型采用带有跳跃连接的 U-Net 架构，并使用针对极端信噪比的低光照数据定制的噪声调度策略。
• 引入关键归一化方法以稳定在右偏、黑暗图像分布上的训练，包括尾部归一化和 HSV 空间中 V 通道的自适应重标定。
• 利用预训练 VAE 的潜在扩散进行高效潜在空间去噪，降低计算成本。
• DiD 在模拟真实世界光子匮乏条件的合成低光照数据上端到端训练，噪声类型为泊松-高斯噪声。
• 推理通过从随机噪声迭代去噪实现，以低光照输入为条件，生成高保真度重建结果。

Figure 2 : Overview of DiD pipeline. During training, we randomly crop $32\times 32$ patches at multiple scales (noted with $s$ ) using Single Patchify and concatenate the low-light patches, low-resolution well-lit patches, and high-resolution well-lit patches together as conditioning images to deno

实验结果

研究问题

• RQ1 扩散模型是否能在极端黑暗、嘈杂的图像中，比现有最先进低光照增强方法更好地重建高频细节？
• RQ2 基于扩散的方法是否能在无需任务特定微调的情况下，保持结构保真度与文本可读性？
• RQ3 DiD 在缺乏真实光照充足图像作为监督信号的真实世界低光照数据集上表现如何？
• RQ4 为稳定在高度偏斜、黑暗图像分布上的扩散训练，需要哪些归一化技术？
• RQ5 DiD 是否能泛化到未见过的真实低光照场景，同时保持美学质量与识别性能？

主要发现

• 在 SVT-Perspective 数据集上，DiD 在低光照条件下 PSNR 达到 21.00，优于次佳方法（KID：0.14 vs. 0.15），并在词准确率与编辑距离指标上超越最先进水平。
• 在 ICDAR2013 数据集上，DiD 在 0.4× 亮度与高噪声条件下实现 89.2% 的词准确率与 0.82 的归一化编辑距离，超过基线模型。
• 定性结果表明，DiD 即使在严重退化的图像中仍能恢复精细的文本边缘与字母细节，而 LLFlow 与 LDM 生成的重建结果模糊或不真实。
• DiD 在真实世界 DarkFace 数据上保持高质量重建，避免了 LLFlow 所产生的不自然红褐色调，证明其对未见真实低光照场景的鲁棒性。
• 消融研究证实，条件 U-Net 搭配 ILVR 及正确归一化至关重要：移除 ILVR 导致 PSNR 下降 2.75 分，省略归一化则显著降低性能。
• 在无需任何任务特定微调的情况下，DiD 在下游文本识别任务中仍优于最先进低光照方法，证明扩散模型在高频细节重建中的泛化能力。

Figure 3 : Color pixel distributions for low-light data. Right-tailed data do not follow assumptions made in training a diffusion model. We normalize the data to the appropriate range for training. Top: Data distribution of a random selection of 30 images from the LOL training set [ 89 ] . Middle: D