[论文解读] Learning Foveated Reconstruction to Preserve Perceived Image Statistics.

Luca Surace, Marek Wernikowski+4 more|arXiv (Cornell University)|Aug 7, 2021

Advanced Image Processing Techniques参考文献 55被引用 5

一句话总结

本文提出一种基于生成对抗网络（GAN）的foveated图像重建方法，通过训练生成器最小化感知上重要的偏差，从而保留感知图像统计特性。通过整合基于心理物理学的采样密度敏感度，该方法在稀疏采样条件下提升了视觉保真度，在用户研究和新型客观度量指标中均优于基线方法。

ABSTRACT

Foveated image reconstruction recovers full image from a sparse set of samples distributed according to the human visual system's retinal sensitivity that rapidly drops with eccentricity. Recently, the use of Generative Adversarial Networks was shown to be a promising solution for such a task as they can successfully hallucinate missing image information. Like for other supervised learning approaches, also for this one, the definition of the loss function and training strategy heavily influences the output quality. In this work, we pose the question of how to efficiently guide the training of foveated reconstruction techniques such that they are fully aware of the human visual system's capabilities and limitations, and therefore, reconstruct visually important image features. Due to the nature of GAN-based solutions, we concentrate on the human's sensitivity to hallucination for different input sample densities. We present new psychophysical experiments, a dataset, and a procedure for training foveated image reconstruction. The strategy provides flexibility to the generator network by penalizing only perceptually important deviations in the output. As a result, the method aims to preserve perceived image statistics rather than natural image statistics. We evaluate our strategy and compare it to alternative solutions using a newly trained objective metric and user experiments.

研究动机与目标

• 解决仅在稀疏采样下进行foveated图像重建的挑战，模拟人类视网膜敏感度。
• 通过与人类视觉系统（HVS）对幻觉的敏感度对齐，提升在不同采样密度下的重建质量。
• 将关注点从保留自然图像统计特性转向保留感知图像统计特性，以更准确反映人类视觉感知。
• 开发一种灵活的训练策略，仅对重建图像中感知上显著的偏差施加惩罚。
• 通过新型客观度量和用户实验评估该方法，以验证感知质量的提升。

提出的方法

• 开展新的心理物理学实验，量化人类在不同输入采样密度下对幻觉的敏感度。
• 构建一个源自这些实验的数据集，用于在现实HVS约束下训练和评估foveated重建模型。
• 设计一种基于感知重要性的损失加权训练流程，利用HVS敏感度作为动态惩罚函数。
• 采用基于GAN的生成器，从稀疏foveated采样中学习重建完整图像，同时最小化感知显著的误差。
• 应用感知启发的损失函数，降低在低敏感度（周边）区域的误差权重，集中关注中央（foveal）区域。
• 通过新训练的客观度量和受控用户实验验证该方法，对比基线方法评估感知质量。

实验结果

研究问题

• RQ1 在foveated图像重建中，人类对幻觉的敏感度如何随输入采样密度变化？
• RQ2 基于GAN的重建模型在多大程度上可被引导以保留感知图像统计特性而非自然图像统计特性？
• RQ3 基于心理物理学的训练策略是否能提升foveated图像重建中的感知质量？
• RQ4 在用户研究和客观度量中，该方法与基线GAN及传统重建技术相比表现如何？

主要发现

• 该方法通过聚焦于感知重要区域的训练，显著提升了感知质量，减少了中央区域的可见伪影。
• 用户研究表明，与基线GAN相比，采用HVS感知训练策略生成的重建结果在统计上具有显著偏好优势。
• 新型客观度量与人类感知高度相关，验证了其在评估foveated重建质量中的有效性。
• 通过优先保证中央视觉场的准确性，该方法在高对比度和边缘丰富的区域实现了更高的重建保真度——这些区域对感知图像质量至关重要。
• 该方法在不同采样密度下表现出鲁棒性，即使在低采样率下仍能保持良好的感知质量。
• 结果证实，保留感知图像统计特性可产生比仅保留自然图像统计特性更自然、更真实的重建结果。