[论文解读] Distinguishing representational geometries with controversial stimuli: Bayesian experimental design and its application to face dissimilarity judgments

Tal Golan, Wenxuan Guo+2 more|arXiv (Cornell University)|Nov 28, 2022

Face Recognition and Perception被引用 4

一句话总结

本文提出一种贝叶斯实验设计方法，用于生成具有争议性的刺激集，以高效区分神经网络模型的表征几何结构。通过优化刺激以最大化模型在人脸差异判断中的区分能力，作者表明，训练用于反转3D人脸渲染器的神经网络，在与人类感知判断的一致性方面，优于在分类、识别或自编码任务上训练的等效模型。

ABSTRACT

Comparing representations of complex stimuli in neural network layers to human brain representations or behavioral judgments can guide model development. However, even qualitatively distinct neural network models often predict similar representational geometries of typical stimulus sets. We propose a Bayesian experimental design approach to synthesizing stimulus sets for adjudicating among representational models efficiently. We apply our method to discriminate among candidate neural network models of behavioral face dissimilarity judgments. Our results indicate that a neural network trained to invert a 3D-face-model graphics renderer is more human-aligned than the same architecture trained on identification, classification, or autoencoding. Our proposed stimulus synthesis objective is generally applicable to designing experiments to be analyzed by representational similarity analysis for model comparison.

研究动机与目标

• 为解决在标准刺激集上测试时，定性不同的神经网络模型所预测的表征几何结构相似性问题。
• 开发一种刺激合成方法，通过生成引发分歧预测的“具有争议性”的刺激，高效区分不同神经网络模型的表征几何结构。
• 将该方法应用于比较基于表征相似性分析的人类行为人脸差异判断模型。
• 通过人类参与者的心理实验和消融研究，验证该方法的有效性。
• 证明该刺激优化目标可推广至基于RSA的其他实验，涵盖脑活动测量或行为判断。

提出的方法

• 该方法使用贝叶斯最优实验设计（BOED）来优化刺激集本身，而非实验参数。
• 其构建了一个全局效用函数，以最大化每个模型在预测自身生成数据时相对于最优替代模型的期望优势。
• 效用函数采用饱和函数 f(x) = -e^(-10x)，以强调错误模型的恢复，并惩罚那些对其他模型生成数据预测能力差的模型。
• 通过使用巴塞尔人脸模型对3D人脸模型的形状和纹理组件进行联合优化生成刺激，采用局部优化以避免陷入全局最优。
• 该方法支持固定RSA（未加权表征几何结构）和可估计权重的灵活模型。
• 消融研究测试了仅优化形状或纹理的影响、使用单个或多个模型实例的影响，以及不同模型性能池化函数的影响。

实验结果

研究问题

• RQ1 能否开发一种刺激合成方法，生成具有争议性的刺激，以高效区分不同神经网络模型的表征几何结构？
• RQ2 在3D人脸渲染器上进行反演训练的神经网络，其表征几何结构是否比在分类、识别或自编码任务上训练的模型更符合人类的人脸差异判断？
• RQ3 该方法对刺激集初始化和优化组件的变化有多大的鲁棒性？
• RQ4 不同模型性能池化函数在实验设计中对模型恢复准确率的影响有多大？
• RQ5 所提出的刺激优化目标能否推广至其他基于RSA的实验，用于测量脑活动或行为判断？

主要发现

• 在3D人脸模型图形渲染器上进行反演训练的神经网络，其表征几何结构与人类感知差异判断的对齐程度显著高于在识别、分类或自编码任务上训练的模型。
• 同时优化形状和纹理组件的刺激产生了最高的模型恢复准确率，而仅优化形状则导致性能急剧下降。
• 在优化过程中使用多个模型实例相比仅使用单个实例，显著提升了方法的鲁棒性和准确性。
• 饱和函数 f(x) = -e^(-10x) 在降低方差和提升模型区分能力方面优于恒等函数，尤其通过惩罚正确预测中的过度自信表现更优。
• 尽管非光滑，对备选模型性能使用硬最大池化函数可实现最高的模型恢复准确率。
• 该方法表现出良好的可重复性：使用不同随机种子生成的第二个具有争议性的刺激集也产生了稳定一致的结果，3D反演模型再次优于所有其他模型。