[논문 리뷰] Learning-induced categorical perception in a neural network model

Christian Thériault, Fernanda Pérez-Gay Juárez외 2명|arXiv (Cornell University)|2018. 05. 11.

Categorization, perception, and language참고 문헌 21인용 수 3

한 줄 요약

이 논문은 히든 유닛 공간에서 범주 간 거리의 확장과 범주 내 거리의 압축을 통해 학습 유도 범주 인식(CP)을 보여주는 신경망 모델을 제안한다. 범주 특화 입력으로 훈련함으로써, 사전에 정의된 범주 없이도 CP 효과를 재현하며, 분산 표현을 통한 범주 학습에서 CP가 자연스럽게 발생함을 보여준다.

ABSTRACT

In human cognition, the expansion of perceived between-category distances and compression of within-category distances is known as categorical perception (CP). There are several hypotheses about the causes of CP (e.g., language, learning, evolution) but no functional model. Whether CP is essential to categorisation or simply a by-product of it is not yet clear, but evidence is accumulating that CP can be induced by category learning. We provide a model for learning-induced CP as expansion and compression of distances in hidden-unit space in neural nets. Basic conditions from which the current model predicts CP are described, and clues as to how these conditions might generalize to more complex kinds of categorization begin to emerge.

연구 동기 및 목표

• 범주 학습에서 어떻게 범주 인식(CP)이 유도되는지 설명할 수 있는 功能적 신경망 모델을 개발하는 것.
• CP가 인공 신경망에서 분류의 부산물인지, 핵심 메커니즘인지 조사하는 것.
• 훈련 중 분산 표현에서 CP가 발생하는 기본 조건을 규명하는 것.
• CP가 사전 언어적 또는 진화적 제약 없이 순수하게 학습을 통해 유도될 수 있음을 보여주는 것.

제안 방법

• 다중 히든 레이어를 가진 전방향 신경망을 서로 다른 범주에 속하는 자극으로 훈련한다.
• 모델은 역전파 동안 가중치를 조정함으로써 히든 유닛 공간에서 범주 특화 표현을 학습한다.
• 히든 유닛 활성화 공간에서의 상호 및 내부 범주 간 거리 분석을 통해 범주 인식을 측정한다.
• 다른 범주에 속한 자극 간 거리는 증가(확장)하고, 같은 범주 내 자극 간 거리는 감소(압축)하여 CP를 나타낸다.
• 모델은 CP를 강제하기 위해 아키텍처를 수정하지 않고 표준 역전파와 경사 하강법을 사용하여 훈련한다.
• 분석은 훈련 전후의 히든 레이어 표현 기하학적 성질에 중점을 두어 CP 효과를 탐지한다.

실험 결과

연구 질문

• RQ1 정의된 범주 없이 순수하게 범주 학습을 통해 신경망에서 범주 인식이 유도될 수 있는가?
• RQ2 훈련 과정에서 히든 유닛 공간에서 범주 간 거리가 확장되고 범주 내 거리가 압축되는 데 영향을 주는 특정 조건은 무엇인가?
• RQ3 범주 인식은 분류의 부산물인지, 아니면 분류를 가능하게 하는 핵심 메커니즘인가?
• RQ4 히든 유닛 표현의 기하학적 성질은 범주 학습 과정에서 어떻게 변화하여 CP를 유도하는가?

주요 결과

• 모델은 명확한 범주 인식을 보이며, 훈련 후 히든 유닛 공간에서 범주 간 거리가 증가하고 범주 내 거리가 감소한다.
• CP는 범주 경계를 강제로 설정하는 명시적 메커니즘이 없이도 학습 과정에서 자연스럽게 발생한다.
• CP 정도는 모델의 분류 정확도와 상관관계가 있어, 분류 기능적 역할을 수행함을 시사한다.
• 훈련 후 모델의 히든 유닛 표현은 더 분리 가능해지며, 이는 개선된 범주 식별 능력을 나타낸다.
• 결과는 CP가 분산 표현에서의 범주 학습의 산물이며, 그 전제 조건이 아니라는 가설을 지지한다.