[论文解读] Eigen-Distortions of Hierarchical Representations

Alexander Berardino, Johannes Ballé+2 more|arXiv (Cornell University)|Oct 6, 2017

Visual Attention and Saliency Detection参考文献 16被引用 21

一句话总结

本文提出一种基于费雪信息的模型，用于生成模型预测的最显著和最不显著的图像失真，以评估人工模型与人类视觉之间的感知相似性。结果表明，具有局部增益控制的生物启发式早期视觉模型在预测人类对图像扰动的敏感度方面，优于VGG16等深度网络及经过失真训练的卷积神经网络。

ABSTRACT

We develop a method for comparing hierarchical image representations in terms of their ability to explain perceptual sensitivity in humans. Specifically, we utilize Fisher information to establish a model-derived prediction of sensitivity to local perturbations of an image. For a given image, we compute the eigenvectors of the Fisher information matrix with largest and smallest eigenvalues, corresponding to the model-predicted most- and least-noticeable image distortions, respectively. For human subjects, we then measure the amount of each distortion that can be reliably detected when added to the image. We use this method to test the ability of a variety of representations to mimic human perceptual sensitivity. We find that the early layers of VGG16, a deep neural network optimized for object recognition, provide a better match to human perception than later layers, and a better match than a 4-stage convolutional neural network (CNN) trained on a database of human ratings of distorted image quality. On the other hand, we find that simple models of early visual processing, incorporating one or more stages of local gain control, trained on the same database of distortion ratings, provide substantially better predictions of human sensitivity than either the CNN, or any combination of layers of VGG16.

研究动机与目标

• 开发一种系统化方法，以测试人工分层表征与人类感知敏感度的匹配程度。
• 通过人类辨别阈值识别并测试模型预测的极端失真——最显著和最不显著的失真。
• 将深度网络（如VGG16）与生物启发模型在预测人类感知阈值方面的表现进行比较。
• 探究尽管在分类任务中表现优异，深度神经网络为何无法泛化至类人感知敏感度。
• 评估是否引入已知的生理机制（如局部增益控制）可提升感知建模效果。

提出的方法

• 该方法利用感知模型的费雪信息矩阵（FIM）计算对应于最大和最小特征值的特征向量，分别代表给定图像的最显著和最不显著失真。
• FIM由模型的条件密度 p(r|x) 推导得出，其中 r 表示内部神经反应，x 为图像输入。
• 通过人类观察者进行实验测量，获取这些失真的辨别阈值，以确定其可检测性。
• 将最显著与最不显著失真 empirically 测量的阈值之比，用作与人类感知对齐的绝对度量。
• 该方法应用于 VGG16 各层、在人类失真评分上训练的四阶段 CNN，以及具有局部增益控制的 LGN 生物结构模型。
• 该方法通过在模型优化的刺激上测试敏感度，而非使用手工选择的示例，实现了对感知模型的“图灵测试”。

实验结果

研究问题

• RQ1 费雪信息能否用于生成有针对性的、模型预测的失真，以揭示人工模型与人类感知之间的差异？
• RQ2 VGG16 的早期层与深层相比，在预测人类对图像失真敏感度方面表现如何？
• RQ3 包含已知视觉系统机制（如ON/OFF通路、局部增益控制）的生物启发模型，是否在预测人类感知阈值方面优于通用深度网络？
• RQ4 尽管在分类任务中表现优异，为何深度网络无法泛化至类人感知敏感度？
• RQ5 模型结构——特别是生理约束——在多大程度上能提升泛化能力和感知预测精度？

主要发现

• VGG16 的早期层（Front，第3层）在预测人类感知敏感度方面优于深层，其准确度随深度增加而下降。
• 在人类失真评分上训练的四阶段 CNN 表现优于深层 VGG16 层，但不及早期 VGG16 层。
• 整合局部增益控制和早期视觉系统生理机制（如 LGN 模型）的模型显著优于 VGG16 和失真训练的 CNN，其中最复杂的 LGN 模型（LGG）与人类数据的相关系数达到 ρ = .83。
• 包含 LGN 多个功能元件的 LGG 模型，其特征失真预测精度高于任何 VGG16 层或 VGG-IQA 模型。
• 深度网络无法匹配人类感知的缺陷，无法通过在人类评分上的标准交叉验证检测到，但通过在模型合成的特征失真上测试被揭示。
• 基于灵长类视觉生理结构的结构约束——如局部增益控制——作为强大的正则化器，其泛化能力优于无结构的深度网络。