[论文解读] Camera Lens Super-Resolution

Chang Chen, Zhiwei Xiong+3 more|arXiv (Cornell University)|Apr 6, 2019

Advanced Image Processing Techniques参考文献 34被引用 9

一句话总结

本文提出CameraSR，一种新型超分辨率方法，通过使用真实低分辨率与高分辨率图像对，建模相机镜头中的真实世界分辨率-视场角（R-V）权衡。通过在City100数据集上进行训练——该数据集通过受控的DSLR和智能手机成像获取——CameraSR显著优于如双三次下采样等合成退化模型，在重建精度和感知质量方面表现更优，同时在内容和设备间具有良好的泛化能力，作为先进的数字变焦工具表现出色。

ABSTRACT

Existing methods for single image super-resolution (SR) are typically evaluated with synthetic degradation models such as bicubic or Gaussian downsampling. In this paper, we investigate SR from the perspective of camera lenses, named as CameraSR, which aims to alleviate the intrinsic tradeoff between resolution (R) and field-of-view (V) in realistic imaging systems. Specifically, we view the R-V degradation as a latent model in the SR process and learn to reverse it with realistic low- and high-resolution image pairs. To obtain the paired images, we propose two novel data acquisition strategies for two representative imaging systems (i.e., DSLR and smartphone cameras), respectively. Based on the obtained City100 dataset, we quantitatively analyze the performance of commonly-used synthetic degradation models, and demonstrate the superiority of CameraSR as a practical solution to boost the performance of existing SR methods. Moreover, CameraSR can be readily generalized to different content and devices, which serves as an advanced digital zoom tool in realistic imaging systems. Codes and datasets are available at https://github.com/ngchc/CameraSR.

研究动机与目标

• 解决现有超分辨率方法在应用于真实成像系统时因合成退化模型不匹配而导致的性能下降问题。
• 研究相机镜头中固有的分辨率-视场角（R-V）权衡，作为超分辨率的现实退化模型。
• 通过从真实数据中学习R-V退化，开发一种实用解决方案，以提升真实成像系统中的图像分辨率。
• 证明CameraSR在不同内容和设备间具有良好的泛化能力，从而实现先进的数字变焦功能。
• 验证常见合成退化模型（如双三次插值）在建模基于真实镜头的退化方面存在不足。

提出的方法

• 提出两种新颖的数据采集策略：一种是在三脚架上使用带变焦镜头的DSLR拍摄100个城市场景，改变焦距；另一种是使用智能手机在平移平台上移动以模拟视场角变化。
• 应用全面的数据校正流程，以纠正捕获的LR-HR图像对中的空间错位、亮度差异和色彩不匹配问题。
• 构建City100数据集，包含来自DSLR和智能手机系统的100对对齐的LR-HR图像，用于建模真实R-V退化。
• 在City100上训练超分辨率网络（如VDSR、SRGAN），使用学习到的R-V退化模型替代合成模型（如双三次下采样）。
• 利用学习到的R-V退化核，逆转真实光学系统中的分辨率损失，从而实现超越物理镜头极限的增强数字变焦。
• 通过将基于一个设备（如iPhone X）训练的模型应用于其他设备（如Huawei P20、Samsung S9）和不同场景内容，评估其泛化能力。

实验结果

研究问题

• RQ1 在信息损失方面，真实相机镜头的R-V退化与双三次下采样等合成退化模型有何不同？
• RQ2 在DSLR和智能手机相机的真实LR-HR图像对上进行训练的基于学习的超分辨率方法，是否能优于在合成退化模型上训练的方法？
• RQ3 在一台设备上训练的CameraSR模型，能在多大程度上泛化到其他设备和多样化场景内容？
• RQ4 CameraSR能否有效缓解光学系统中的分辨率-视场角权衡，从而实现超越物理镜头极限的增强数字变焦？
• RQ5 与合成模型相比，使用真实R-V退化建模对超分辨率性能的定量影响如何？

主要发现

• 真实相机镜头的R-V退化导致的信息损失显著高于双三次下采样，如在相同HR图像上，PSNR从28.56 dB（双三次）下降至27.22 dB（R-V）。
• 在City100数据集上训练的CameraSR在重建精度和感知质量方面显著优于在合成退化模型上训练的模型，尤其在真实世界LR图像上表现更优。
• 使用CameraSR的SR结果在细节恢复方面相比双三次或高斯SR有明显视觉提升，如在DSLR和智能手机图像上的视觉对比所示。
• CameraSR能有效泛化到新内容（如户外场景、多样化主体）和不同设备（如从iPhone X到Huawei P20和Samsung S9），并保持高性能。
• CameraSR通过有效逆转R-V退化，实现了增强数字变焦，使分辨率提升超越光学镜头的物理变焦比。
• CameraSR带来的性能提升在不同网络架构（包括VDSR和SRGAN）中保持一致，证实了其鲁棒性和可迁移性。