[论文解读] A Developmentally-Inspired Examination of Shape versus Texture Bias in Machines

Alexa R. Tartaglini, Wai Keen Vong+1 more|arXiv (Cornell University)|Feb 16, 2022

Face Recognition and Perception被引用 10

一句话总结

本研究通过借鉴儿童发展心理学实验范式，重新评估深度神经网络中的形状与纹理偏好，发现在生态学上有效的测试条件下，预训练模型表现出强烈的形状偏好，与早期研究报道的纹理偏好相反。结果表明，先前结论可能源于刺激设计与测试程序的方法学差异，强调了在人类与机器之间进行公平比较时，需与人类发展测试保持一致的重要性。

ABSTRACT

Early in development, children learn to extend novel category labels to objects with the same shape, a phenomenon known as the shape bias. Inspired by these findings, Geirhos et al. (2019) examined whether deep neural networks show a shape or texture bias by constructing images with conflicting shape and texture cues. They found that convolutional neural networks strongly preferred to classify familiar objects based on texture as opposed to shape, suggesting a texture bias. However, there are a number of differences between how the networks were tested in this study versus how children are typically tested. In this work, we re-examine the inductive biases of neural networks by adapting the stimuli and procedure from Geirhos et al. (2019) to more closely follow the developmental paradigm and test on a wide range of pre-trained neural networks. Across three experiments, we find that deep neural networks exhibit a preference for shape rather than texture when tested under conditions that more closely replicate the developmental procedure.

研究动机与目标

• 探究深度神经网络在物体分类中是否像人类在早期词汇学习阶段那样表现出形状或纹理偏好。
• 通过采用更贴近儿童发展心理学实验程序的方法重新测试，以解决先前研究中报告的DNN纹理偏好与本研究发现的形状偏好之间的矛盾。
• 考察网络架构设计、预训练目标（如监督式与自监督式）以及刺激属性（如背景纹理、形状对齐）如何影响DNN中形状偏好的出现。
• 确定先前报告的DNN中纹理偏好是否为刺激设计的产物，而非模型行为中的真实归纳偏好。

提出的方法

• 借鉴儿童发展心理学中使用的刺激与实验程序，用于测试深度神经网络中的形状与纹理偏好。
• 通过风格迁移将一个类别的形状与另一个类别的纹理相结合，构建冲突线索刺激，确保形状与纹理线索在感知上均显著。
• 在三种实验条件下，对大量预训练模型（包括CNN和视觉Transformer）进行测试：改编刺激、新刺激以及具有不同背景纹理的刺激。
• 采用基于三元组的测试格式，模型在形状匹配与纹理匹配之间进行选择，偏好度通过形状选择的比例计算。
• 通过改变刺激条件，隔离背景纹理、形状对齐与物体熟悉度对模型行为的影响。
• 对比具有与不具有语言或标签预训练的模型，以评估监督学习在塑造归纳偏好中的作用。

实验结果

研究问题

• RQ1 当使用更贴近儿童发展心理学实验条件的测试程序时，深度神经网络是否表现出形状偏好？
• RQ2 为何先前研究报告DNN中存在强烈的纹理偏好，而本研究在相似测试程序下却发现显著的形状偏好？
• RQ3 架构差异（如CNN与视觉Transformer）以及预训练目标（如监督式与自监督式）如何影响DNN中形状偏好的强度？
• RQ4 背景纹理在多大程度上影响DNN在冲突线索刺激中的分类行为，其表现与人类感知相比如何？
• RQ5 为何模型在形状偏好上表现出比人类更大的变异性，这对人工与人类智能中归纳偏好的本质意味着什么？

主要发现

• 在使用干净背景和对齐形状线索的发育性测试程序下，大多数预训练深度神经网络表现出强烈的形状偏好，与早期报告的纹理偏好相矛盾。
• 在ImageNet上使用类别标签进行预训练的模型，其形状偏好显著强于随机初始化的对应模型，表明监督式预训练可增强形状偏好。
• 当在新刺激上测试或使用夸张的背景纹理时，模型的形状偏好降低，表明刺激上下文对偏好的表达具有关键影响。
• 尽管未接触语言或标签信息，自监督模型在某些条件下仍表现出稳健的形状偏好，挑战了语言输入对形状偏好出现为必要条件的假设。
• 先前研究中观察到的纹理偏好程度，似乎是刺激设计的产物——尤其是显著的背景纹理——而非DNN中的根本归纳偏好。
• 结果强调，测试程序的方法学差异（而不仅仅是模型架构）可能显著改变观测到的偏好，凸显了采用物种公平评估协议的必要性。