[论文解读] Capturing human category representations by sampling in deep feature spaces

Joshua C. Peterson, Jordan W. Suchow+3 more|arXiv (Cornell University)|May 19, 2018

Domain Adaptation and Few-Shot Learning参考文献 11被引用 7

一句话总结

本文提出了一种新颖的方法——MCMCP（人类参与的马尔可夫链蒙特卡洛），通过生成模型与人类反馈相结合，利用深度特征空间中的方法估计人类类别表征。通过将深度神经网络特征空间与人类引导的采样相结合，该方法捕捉到多模态、生态上有效的类别分布，在真实世界图像的感知质量与分类准确率方面均优于传统分类图像。

ABSTRACT

Understanding how people represent categories is a core problem in cognitive science. Decades of research have yielded a variety of formal theories of categories, but validating them with naturalistic stimuli is difficult. The challenge is that human category representations cannot be directly observed and running informative experiments with naturalistic stimuli such as images requires a workable representation of these stimuli. Deep neural networks have recently been successful in solving a range of computer vision tasks and provide a way to compactly represent image features. Here, we introduce a method to estimate the structure of human categories that combines ideas from cognitive science and machine learning, blending human-based algorithms with state-of-the-art deep image generators. We provide qualitative and quantitative results as a proof-of-concept for the method's feasibility. Samples drawn from human distributions rival those from state-of-the-art generative models in quality and outperform alternative methods for estimating the structure of human categories.

研究动机与目标

• 解决在复杂、自然主义图像空间中估计人类类别表征的挑战，因为直接观察不可行。
• 开发一种可扩展、生态上有效的技术，以捕捉人类类别的完整结构，包括多模态分布。
• 通过实现密度估计并提升对真实世界图像分类的泛化能力，改进传统分类图像。
• 构建一个灵活的框架，利用深度生成模型与人类参与的采样方法，用于认知建模。
• 为人类分类提供真实基准，以指导未来机器学习与认知科学研究。

提出的方法

• 该方法使用深度卷积神经网络（CNN）从图像中提取紧凑、分层的特征表征，形成高维潜在空间。
• 使用预训练的生成模型（如 GAN 或 VAE）通过解码器网络将低维潜在向量 z 映射到高维图像样本 x。
• 实施人类参与的马尔可夫链蒙特卡洛（MCMC）采样循环：在每一步中，向人类评分者展示当前状态和提议状态的两个图像样本。
• 评分者根据 Barker 接受函数在两个图像之间进行选择，以决定是否接受提议状态，从而实现对人类类别分布的探索。
• 由此产生的 MCMC 链生成的样本近似于深度特征空间中真实的人类类别分布，可通过混合模型实现密度估计。
• 该方法允许可视化多模态类别模板，并支持基于最近均值与最大似然决策规则的分类。

实验结果

研究问题

• RQ1 在深度特征空间中，人类参与的采样能否捕捉到人类类别表征的完整多模态结构？
• RQ2 MCMCP 在分类真实世界自然图像方面的性能与传统分类图像相比如何？
• RQ3 从 MCMCP 样本中导出的密度估计是否能提升分类准确率，超过基线方法？
• RQ4 MCMCP 衍生的表征在多大程度上反映了感知上有意义的类别边界？
• RQ5 该方法在不施加过重试验负担的前提下，能否扩展至复杂、高维的图像类别？

主要发现

• MCMCP 生成的样本在图像质量方面媲美最先进生成模型，且在估计人类类别结构方面优于其他替代方法。
• 该方法成功可视化了自然图像类别的多模态类别模板，这是以往使用自然刺激无法实现的能力。
• 基于 MCMCP 的密度估计在真实 Flickr 图像上的最近均值分类中优于分类图像，平均准确率为 0.38，而 CI 方法为 0.30。
• 对于类别组 1，MCMCP 密度估计的平均分类准确率为 0.37，显著优于基于 CI 的最近均值规则（0.30）。
• 对于类别组 2，MCMCP 最近均值分类的准确率为 0.42，优于 CI（0.26）和 MCMCP 密度估计（0.35）。
• Fisher 线性判别分析表明，MCMCP 表征产生的类别分离度优于分类图像，表明其具有更高的可分性。