[论文解读] Modeling Human Categorization of Natural Images Using Deep Feature Representations

Ruairidh M. Battleday, Joshua C. Peterson+1 more|arXiv (Cornell University)|Nov 1, 2017

Face Recognition and Perception被引用 1

一句话总结

本文提出使用深度卷积神经网络（CNN）特征来建模人类对自然图像的分类，证明了基于CNN的表征能够以高精度预测人类判断。研究显示，基于这些特征的实例模型和原型模型均表现良好，优于传统模型，并通过预处理使特征与人类相似性判断对齐，从而进一步提升性能。

ABSTRACT

Over the last few decades, psychologists have developed sophisticated formal models of human categorization using simple artificial stimuli. In this paper, we use modern machine learning methods to extend this work into the realm of naturalistic stimuli, enabling human categorization to be studied over the complex visual domain in which it evolved and developed. We show that representations derived from a convolutional neural network can be used to model behavior over a database of >300,000 human natural image classifications, and find that a group of models based on these representations perform well, near the reliability of human judgments. Interestingly, this group includes both exemplar and prototype models, contrasting with the dominance of exemplar models in previous work. We are able to improve the performance of the remaining models by preprocessing neural network representations to more closely capture human similarity judgments.

研究动机与目标

• 将人类分类的形式化模型从人工刺激扩展到复杂的自然图像。
• 评估深度神经网络表征是否能够有效建模人类视觉分类行为。
• 探究基于深度特征的实例模型或原型模型中，哪一种更能预测人类判断。
• 通过预处理CNN特征使其与人类相似性判断对齐，以提升模型性能。

提出的方法

• 使用了包含三十余万条人类对自然图像分类结果的大规模数据集。
• 从预训练的卷积神经网络（CNN）中提取深度特征表征。
• 使用CNN特征作为输入，训练基于实例和基于原型的模型。
• 对CNN特征应用预处理技术，以更好地反映人类感知相似性。
• 将模型性能与人类判断的可靠性基准进行评估。

实验结果

研究问题

• RQ1 深度神经网络特征能否有效建模人类对自然图像的分类？
• RQ2 基于深度特征的实例模型或原型模型中，哪一种更能预测人类分类行为？
• RQ3 对CNN特征进行预处理能否提升模型在预测人类判断方面的性能？
• RQ4 这些基于深度特征的模型与人类在分类任务中的可靠性相比如何？

主要发现

• 基于深度CNN特征的模型在大规模自然图像分类数据集上的表现接近人类判断的可靠性。
• 基于深度特征的实例模型和原型模型均表现良好，挑战了以往实例模型在分类研究中占主导地位的观点。
• 对CNN表征进行预处理显著提升了模型性能，使其与人类相似性判断更加一致。
• 结果表明，深度特征是建模生态上有效、复杂视觉领域中人类视觉分类的强有力且灵活的基础。