[論文レビュー] Semantic categories of artifacts and animals reflect efficient coding

Noga Zaslavsky, Terry Regier+2 more|arXiv (Cornell University)|May 11, 2019

Language and cultural evolution参考文献 19被引用数 53

ひとこと要約

本論文は情報ボトルネック（IB）効率原理を色名以外のセマンティック領域にも適用して検証し、オランダ語/フランス語の容器名付けにおけるほぼ最適なIB効率を示し、IB軌道から動物カテゴリーの階層を導出する。

ABSTRACT

It has been argued that semantic categories across languages reflect pressure for efficient communication. Recently, this idea has been cast in terms of a general information-theoretic principle of efficiency, the Information Bottleneck (IB) principle, and it has been shown that this principle accounts for the emergence and evolution of named color categories across languages, including soft structure and patterns of inconsistent naming. However, it is not yet clear to what extent this account generalizes to semantic domains other than color. Here we show that it generalizes to two qualitatively different semantic domains: names for containers, and for animals. First, we show that container naming in Dutch and French is near-optimal in the IB sense, and that IB broadly accounts for soft categories and inconsistent naming patterns in both languages. Second, we show that a hierarchy of animal categories derived from IB captures cross-linguistic tendencies in the growth of animal taxonomies. Taken together, these findings suggest that fundamental information-theoretic principles of efficient coding may shape semantic categories across languages and across domains.

研究の動機と目的

• IB効率原理が色名以外の意味領域（ artifacts and animals）にも一般化するかを検証する。
• オランダ語とフランス語の名付け、単言語話者と二言語話者を含む近似最適IB効率を検討する。
• 動物名付けのIBベースの軌道を導出し、それをBrownの動物用語の含意階層と比較する。
• これらの領域におけるソフトカテゴリーと一貫性のない命名がIB予測と整合するかを評価する。
• 意味論における効率的符号化の言語横断・ドメイン横断の一般性を探る。

提案手法

• 意味空間と事前分布をドメイン特有データで定義する（容器：類似性ベース表現；動物：特徴ベース、親和性事前分布）。
• β値（β階段）ごとにF_beta[q] = I(M;W) - beta I(W;U)を最適化してIBトレードオフを計算する。
• 各命名条件について複雑さI_q(M;W)と精度I_q(W;U)（KLベースの不一致で評価）を評価する。
• 経験的命名体系をIB最適値と仮想的な置換系と比較して近似最適性を評価する。
• 非メトリックMDSを用いて容器埋め込みを可視化し、IB由来カテゴリと比較する。
• 動物については2～4カテゴリでIB軌道を生成し、Brownの段階と比較する。

実験結果

リサーチクエスチョン

• RQ1 オランダ語とフランス語の間での二言語併用の収斂を含む、容器名付けにおけるIB原理は近似最適な効率を説明できるか。
• RQ2 IBでモデル化した場合、動物名付け体系は言語横断の動物分類階層の傾向を再現するか。
• RQ3 容器と動物で観察されるソフトカテゴリーと一貫性のない命名は、IBの効率制約で説明できるか。
• RQ4 二言語の命名パターンは単言語パターンに比べて、IBの下での効率と収束の点でどう異なるか。

主な発見

非効率性	非類似性
Dutch, monolingual	0.16	0.11
Dutch, bilingual	0.17	0.12
hypothetical (Dutch)	0.29 (±0.02)	0.59 (±0.05)
French, monolingual	0.18	0.11
French, bilingual	0.17	0.09
hypothetical (French)	0.31 (±0.01)	0.56 (±0.06)

• オランダ語とフランス語（単言語・二言語の両方）における容器名付けは広範な刺激集合に対して理論上のIB限界にほぼ近い。
• 二言語話者は言語間での効率-精度トレードオフがより類似しており、効率圧力の下で収束が起きていることを示唆。
• 仮想的にランダムに置換された命名系は、IB系に比べて効率が低く、IB系との類似性も低い。これにより観測命名の近似最適性を支持。
• IB由来の動物カテゴリ階層は言語横断の傾向をとらえ、知覚的特徴と機能的特徴の混合を反映。
• 動物のIB軌道はBrownの含意段階に類似するが、データセットの偏りが乖離を生じさせる可能性があるものの、全体として分類を形作る効率性を支持。
• 総じて、意味情報処理はカラーを超える領域の意味カテゴリにも影響を与える効率的符号化を示す。