[论文解读] Transforming Neural Network Visual Representations to Predict Human Judgments of Similarity

Maria Attarian, Brett D. Roads+1 more|arXiv (Cornell University)|Oct 13, 2020

Visual Attention and Saliency Detection参考文献 26被引用 6

一句话总结

本文提出对深度神经网络视觉嵌入进行线性变换，以更准确地预测人类对图像相似性的判断。通过应用通用线性变换（优于简单缩放）并允许非对称相似性判断，该方法将二元选择预测准确率从基线的67.8%提升至90.3%，显著优于先前方法，并揭示出人类相似性感知本质上具有非对称性。

ABSTRACT

Deep-learning vision models have shown intriguing similarities and differences with respect to human vision. We investigate how to bring machine visual representations into better alignment with human representations. Human representations are often inferred from behavioral evidence such as the selection of an image most similar to a query image. We find that with appropriate linear transformations of deep embeddings, we can improve prediction of human binary choice on a data set of bird images from 72% at baseline to 89%. We hypothesized that deep embeddings have redundant, high (4096) dimensional representations; however, reducing the rank of these representations results in a loss of explanatory power. We hypothesized that the dilation transformation of representations explored in past research is too restrictive, and indeed we found that model explanatory power can be significantly improved with a more expressive linear transform. Most surprising and exciting, we found that, consistent with classic psychological literature, human similarity judgments are asymmetric: the similarity of X to Y is not necessarily equal to the similarity of Y to X, and allowing models to express this asymmetry improves explanatory power.

研究动机与目标

• 将深度神经网络视觉表征与人类心理嵌入对齐，以实现图像相似性预测。
• 利用变换后的深度嵌入改进对人类二元相似性选择的预测。
• 探究非对称相似性判断（即A到B的相似性与B到A不同）是否更能捕捉人类感知。
• 评估通用线性变换与受限变换（如缩放）在建模人类相似性方面的有效性。
• 确定在预测人类判断时，高度过参数化的线性模型是否会过拟合。

提出的方法

• 对4096维的VGG-16深度嵌入应用通用线性变换，将其映射到更有利于预测人类相似性判断的空间。
• 图像间的相似性通过双线性形式建模：ŝ_ij = z_i^T W z_j，其中W为学习得到的权重矩阵。
• 使用预测相似性得分与人工标注相似性得分之间的平方损失进行模型训练，并采用L2正则化防止过拟合。
• 该方法同时评估对称与非对称版本的相似性函数，支持方向性比较。
• 消融研究对比了不同嵌入维度（k=2048, 4096）和变换类型（缩放、通用线性、非负）下的性能表现。
• 通过保留未见三元组和未见图像来测试泛化能力，评估零样本与少样本迁移性能。

实验结果

研究问题

• RQ1 与基线嵌入相比，对深度嵌入应用通用线性变换是否能显著提升对人类二元相似性选择的预测性能？
• RQ2 允许非对称相似性判断（即A到B的相似性与B到A不同）是否能提升模型对人类数据的拟合度？
• RQ3 相较于简单缩放变换，使用通用线性变换带来的性能提升是否具有统计显著性？
• RQ4 在预测人类判断时，线性变换中的过参数化是否会引发过拟合？
• RQ5 该模型能否泛化到训练过程中未见过的新图像？

主要发现

• 所提方法在预测人类二元相似性选择方面达到90.3%的准确率，显著优于使用原始VGG-16特征的67.8%基线。
• 通用线性变换显著优于先前工作中使用的缩放变换，即使在模型容量较高的情况下亦然。
• 放松相似性对称性约束可提升模型拟合度，为人类相似性判断本质上具有非对称性提供了有力证据。
• 模型在保留图像上泛化良好，性能略有下降但方法间的相对排序保持一致。
• 即使参数量与训练样本比高达185:1，过参数化的线性模型也未出现过拟合，表明线性结构限制了模型对噪声的拟合能力。
• 在2048维嵌入下取得最佳性能，表明降维不会损害模型的解释能力。