[论文解读] Learning-induced categorical perception in a neural network model

Christian Thériault, Fernanda Pérez-Gay Juárez+2 more|arXiv (Cornell University)|May 11, 2018

Categorization, perception, and language参考文献 21被引用 3

一句话总结

该论文提出一种神经网络模型，通过在隐单元空间中扩展类别间距离并压缩类别内距离，展示了学习诱导的类别感知（CP）。通过在类别特定输入上进行训练，该模型在无预设类别的情况下复现了CP效应，表明CP可自然地从分布式表征的类别学习中产生。

ABSTRACT

In human cognition, the expansion of perceived between-category distances and compression of within-category distances is known as categorical perception (CP). There are several hypotheses about the causes of CP (e.g., language, learning, evolution) but no functional model. Whether CP is essential to categorisation or simply a by-product of it is not yet clear, but evidence is accumulating that CP can be induced by category learning. We provide a model for learning-induced CP as expansion and compression of distances in hidden-unit space in neural nets. Basic conditions from which the current model predicts CP are described, and clues as to how these conditions might generalize to more complex kinds of categorization begin to emerge.

研究动机与目标

• 开发一个功能性的神经网络模型，以解释类别感知（CP）如何从类别学习中产生。
• 研究CP是分类的副产品，还是人工神经网络中分类的核心机制。
• 确定在训练过程中分布式表征中CP出现的基本条件。
• 证明CP可完全通过学习诱导，而无需预先存在的语言或进化约束。

提出的方法

• 使用多层隐藏层的前馈神经网络，在属于不同类别的刺激上进行训练。
• 模型通过反向传播调整权重，在隐单元空间中形成类别特定的表征。
• 通过分析隐单元激活空间中的类别间与类别内距离来测量类别感知。
• 不同类别间的距离增大（扩展），同一类别内的距离减小（压缩），表明存在CP。
• 模型使用标准反向传播和梯度下降进行训练，未对网络架构进行任何修改以强制实现CP。
• 分析聚焦于训练前后隐藏层表征的几何特性，以检测CP效应。

实验结果

研究问题

• RQ1 类别感知能否在神经网络中仅通过类别学习而出现，而无需预设类别？
• RQ2 训练过程中哪些特定条件导致隐单元空间中类别间距离扩展和类别内距离压缩？
• RQ3 类别感知是分类的副产品，还是神经网络中使分类成为可能的基本机制？
• RQ4 在类别学习过程中，隐单元表征的几何特性如何变化以产生CP？

主要发现

• 该模型表现出明显的类别感知：训练后，隐单元空间中的类别间距离增大，而类别内距离减小。
• CP自然地从学习过程中产生，无需任何显式机制来强制设定类别边界。
• CP的程度与模型的分类准确率相关，表明其在分类中具有功能性作用。
• 训练后，模型的隐单元表征变得更加可分，表明类别区分能力得到提升。
• 结果支持CP是分布式表征中类别学习的结果而非先决条件的假设。