[论文解读] Learning to Kindle the Starlight

Yu Yuan, Jiaqi Wu+5 more|arXiv (Cornell University)|Nov 16, 2022

Image Enhancement Techniques被引用 4

一句话总结

本文提出 StarDiffusion，首个用于星场图像增强的条件去噪扩散概率模型（DDPM），通过一种新颖的动态随机污染策略，在新提出的星场图像增强基准（SFIEB）上显著提升性能。该方法在感知质量和定量指标上均达到最先进水平，显著优于现有低光照图像增强技术在星场图像上的表现。

ABSTRACT

Capturing highly appreciated star field images is extremely challenging due to light pollution, the requirements of specialized hardware, and the high level of photographic skills needed. Deep learning-based techniques have achieved remarkable results in low-light image enhancement (LLIE) but have not been widely applied to star field image enhancement due to the lack of training data. To address this problem, we construct the first Star Field Image Enhancement Benchmark (SFIEB) that contains 355 real-shot and 854 semi-synthetic star field images, all having the corresponding reference images. Using the presented dataset, we propose the first star field image enhancement approach, namely StarDiffusion, based on conditional denoising diffusion probabilistic models (DDPM). We introduce dynamic stochastic corruptions to the inputs of conditional DDPM to improve the performance and generalization of the network on our small-scale dataset. Experiments show promising results of our method, which outperforms state-of-the-art low-light image enhancement algorithms. The dataset and codes will be open-sourced.

研究动机与目标

• 为解决基于深度学习的星场图像增强缺乏训练数据的问题。
• 开发一种专用于星场图像的增强方法，因其与普通低光照图像存在显著差异（如稀疏、高对比度的恒星与大范围景观）。
• 构建首个全面的基准 SFIEB，包含 355 组真实拍摄与 854 组半合成星场图像对，用于评估。
• 通过在条件 DDPM 框架中引入动态随机污染，提升小规模数据集上的泛化能力与性能。

提出的方法

• 提出 StarDiffusion，一种专为星场图像增强设计的条件去噪扩散概率模型（DDPM）。
• 在反向去噪过程中对输入图像应用动态随机污染，以增强模型在小规模 SFIEB 数据集上的泛化能力与鲁棒性。
• 采用条件 DDPM 架构，将参考图像在每个去噪步骤与噪声输入拼接，以引导生成过程。
• 采用两阶段训练策略：首先在通用低光照数据集（如 LOL）上进行预训练，然后在 SFIEB 上微调以实现领域特定适应。
• 提出一种数据增强策略，利用从真实星场图像中通过受控退化生成的半合成图像，以扩展训练多样性。
• 利用 SFIEB 基准实现星场图像增强方法的公平比较与评估。

实验结果

研究问题

• RQ1 与现有低光照图像增强方法相比，基于扩散模型的方法能否在星场图像增强中实现更优性能？
• RQ2 动态随机污染在小规模、专用数据集（如 SFIEB）上，对条件 DDPM 的泛化能力提升效果如何？
• RQ3 在通用低光照数据上预训练的模型，经 SFIEB 微调后，能在多大程度上实现高质量的星场图像增强？
• RQ4 所提出的 StarDiffusion 方法能否在消费级设备拍摄的真实星场图像上实现良好泛化？
• RQ5 SFIEB 基准能否作为未来星场图像增强研究的可靠且有效的评估平台？

主要发现

• StarDiffusion 在 SFIEB 测试集上达到 PSNR 22.7895 和 SSIM 0.8073，显著优于所有基线 LLIE 方法。
• 在用户研究中，StarDiffusion 获得最高平均感知评分（4.6/5），用户评价其色彩最自然、噪声最少。
• 在 SFIEB 上微调后，RetinexNet 与 Zero-DCE 性能有所提升，但仍逊于 StarDiffusion，证实其在星场任务上的优越性。
• 仅在 SFIEB 上训练的 StarDiffusion 在 LOL 基准上也达到竞争性 PSNR（18.3263），表明其对通用低光照图像具有强泛化能力。
• 该方法能有效增强消费级设备（如 iPhone12、GoPro、Sony α6400）拍摄的星场图像，生成视觉效果更优的结果，包括更清晰的恒星与更好的对比度。
• 消融研究证实，动态随机污染显著提升了模型在小规模 SFIEB 数据集上的泛化能力与性能。