[论文解读] On the relation between statistical learning and perceptual distances

Alexander Hepburn, Valero Laparra+3 more|arXiv (Cornell University)|Jun 8, 2021

Image and Signal Denoising Methods参考文献 47被引用 5

一句话总结

本文研究了统计图像特性、感知距离与自编码器中无监督表征学习之间的关联。结果表明，感知距离与自然图像统计下的图像似然性相关，且在自编码器中使用感知损失可通过隐式正则化降低方差，从而改善梯度估计，尤其在小批量设置下表现更优；然而，由于图像统计的重复计数，其相对于MSE的性能提升有限，仅在数据稀缺场景下显著。

ABSTRACT

It has been demonstrated many times that the behavior of the human visual system is connected to the statistics of natural images. Since machine learning relies on the statistics of training data as well, the above connection has interesting implications when using perceptual distances (which mimic the behavior of the human visual system) as a loss function. In this paper, we aim to unravel the non-trivial relationships between the probability distribution of the data, perceptual distances, and unsupervised machine learning. To this end, we show that perceptual sensitivity is correlated with the probability of an image in its close neighborhood. We also explore the relation between distances induced by autoencoders and the probability distribution of the training data, as well as how these induced distances are correlated with human perception. Finally, we find perceptual distances do not always lead to noticeable gains in performance over Euclidean distance in common image processing tasks, except when data is scarce and the perceptual distance provides regularization. We propose this may be due to a \emph{double-counting} effect of the image statistics, once in the perceptual distance and once in the training procedure.

研究动机与目标

• 理解感知距离、图像统计与无监督表征学习之间的关系。
• 研究为何在感知距离能更好预测人类相似性的情况下，其在自编码器训练中并未始终优于欧氏距离损失。
• 分析数据分布与损失方差在随机梯度下降中的作用，尤其在小批量设置下。
• 评估感知距离是否通过与图像似然的相关性实现正则化，从而降低异常值的影响。
• 澄清图像统计在训练数据与感知损失函数中重复计数所造成的影响。

提出的方法

• 使用概率图像模型（PixelCNN++）估计图像似然性，并将其与感知距离相关联。
• 训练采用欧氏距离（MSE）和感知距离（NLPD、PIM）损失函数的自编码器，以比较其诱导的距离差异。
• 采用小批量为1的随机梯度下降，评估梯度方差与泛化误差估计。
• 比较使用NLPD与MSE损失训练的模型在测试集上的期望MSE，以评估泛化性能。
• 分析梯度估计器的标准误，量化不同损失函数下的方差减少程度。
• 使用固定随机种子与多次运行以确保可复现性，并报告结果的均值与标准差。

实验结果

研究问题

• RQ1 感知距离与自然图像的概率分布之间有何关系？
• RQ2 自编码器诱导的距离在多大程度上与人类感知相似性相关？
• RQ3 为何感知距离在图像重建任务中并未始终优于MSE？
• RQ4 使用感知损失如何影响小批量训练中的梯度估计方差？
• RQ5 图像统计的重复计数在感知损失性能中起到何种作用？

主要发现

• 如NLPD与PIM等感知距离与PixelCNN++估计的图像似然性高度相关，表明感知相似性与自然图像统计之间存在深层关联。
• 使用MSE损失训练的自编码器诱导的距离与训练图像的概率高度相关，表明模型学习到的表征与数据密度对齐。
• 在数据稀缺时，NLPD等感知距离相比MSE能实现更好的泛化，因其通过降低低概率（异常值）样本的权重实现隐式正则化。
• 在小批量训练中NLPD优于MSE的性能提升源于梯度方差的降低，因为感知距离与图像似然性相关，从而稳定了梯度估计器。
• 尽管感知距离能更好预测人类相似性，但其在重建性能上并未始终优于MSE，原因在于图像统计被重复计数——一次在数据中，一次在损失函数中。
• 使用NLPD时，梯度估计器的标准误低于MSE，尤其在批量大小为1时，表明其对泛化误差的估计更优。