[論文レビュー] Learning-induced categorical perception in a neural network model

Christian Thériault, Fernanda Pérez-Gay Juárez+2 more|arXiv (Cornell University)|May 11, 2018

Categorization, perception, and language参考文献 21被引用数 3

ひとこと要約

本論文は、隠れユニット空間におけるカテゴリ間距離の拡大とカテゴリ内距離の圧縮を通じて、学習誘発的カテゴリー的知覚（CP）を示すニューラルネットワークモデルを提案する。カテゴリ特異的入力を用いた学習により、事前のカテゴリが存在しない状況でもCP効果を再現でき、CPは分散表現を介したカテゴリ学習から自然に生じることを示している。

ABSTRACT

In human cognition, the expansion of perceived between-category distances and compression of within-category distances is known as categorical perception (CP). There are several hypotheses about the causes of CP (e.g., language, learning, evolution) but no functional model. Whether CP is essential to categorisation or simply a by-product of it is not yet clear, but evidence is accumulating that CP can be induced by category learning. We provide a model for learning-induced CP as expansion and compression of distances in hidden-unit space in neural nets. Basic conditions from which the current model predicts CP are described, and clues as to how these conditions might generalize to more complex kinds of categorization begin to emerge.

研究の動機と目的

• カテゴリー的知覚（CP）がどのようにカテゴリ学習から生じるかを説明する機能的ニューラルネットワークモデルを開発すること。
• CPが分類の副産物であるのか、それとも分類の根幹をなすメカニズムであるのかを、人工ニューラルネットワークにおいて検証すること。
• 学習中に分散表現においてCPが生じる基本的条件を特定すること。
• CPが言語的・進化的な制約なしに、学習そのものによって純粋に誘発可能であることを示すこと。

提案手法

• 複数の隠れ層を有する順方向ニューラルネットワークを、明確に分離されたカテゴリに属する刺激で学習する。
• バックプロパゲーションによる重みの調整を通じて、隠れユニット空間にカテゴリ特異的表現を学習する。
• 隠れユニット活性化空間におけるカテゴリ間・カテゴリ内距離の分析を通じて、カテゴリー的知覚を測定する。
• 異なるカテゴリに属する刺激間の距離は増加（拡大）し、同じカテゴリ内では距離が減少（圧縮）する。この傾向がCPを示している。
• CPを強制するためのアーキテクチャ的変更なしに、標準的なバックプロパゲーションと勾配降下法を用いて学習を行う。
• CP効果の検出を目的とし、訓練前後における隠れ層表現の幾何的性質に注目する分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 カテゴリ特異的入力の学習のみを通じて、事前に定義されたカテゴリなしにニューラルネットワークにカテゴリー的知覚が生じるか？
• RQ2 訓練プロセスにおけるどのような具体的な条件が、隠れユニット空間におけるカテゴリ間距離の拡大とカテゴリ内距離の圧縮を引き起こすか？
• RQ3 カテゴリー的知覚は分類の副産物であるのか、それとも分類を可能にする根本的メカニズムであるのか？
• RQ4 カテゴリ学習の過程で、隠れユニット表現の幾何的性質はどのように変化し、CPを生じさせるのか？

主な発見

• モデルは明確なカテゴリー的知覚を示す。訓練後、隠れユニット空間におけるカテゴリ間距離が増加し、カテゴリ内距離が減少する。
• CPは、カテゴリ境界を強制する明示的なメカニズムなしに、学習プロセスから自然に生じる。
• CPの度合いはモデルの分類精度と相関しており、分類に機能的役割を果たしている可能性を示唆する。
• 訓練後、モデルの隠れユニット表現はより分離可能になることが示され、カテゴリ識別能の向上が裏付けられる。
• 結果から、CPは分散表現におけるカテゴリ学習の結果であると考えられ、前提条件ではないことが支持される。