[論文レビュー] Efficient human-like semantic representations via the Information Bottleneck principle

Noga Zaslavsky, Charles Kemp+2 more|arXiv (Cornell University)|Aug 9, 2018

Topic Modeling参考文献 15被引用数 10

ひとこと要約

本稿では、情報ボトルネック（IB）原理が、人間の言語が知覚入力を意味的カテゴリーに効率的に圧縮する仕組みを説明すると提案している。色名付けを事例として、言語間で共通する自然な色名体系が、IBの観点からほぼ最適であることを示し、1つのトレードオフパラメータが言語間の多様性と構造的相転移を支配している。これは、機械に人間のような意味的表現を統一的に説明する計算的原理であるIBを示唆している。

ABSTRACT

Maintaining efficient semantic representations of the environment is a major challenge both for humans and for machines. While human languages represent useful solutions to this problem, it is not yet clear what computational principle could give rise to similar solutions in machines. In this work we propose an answer to this open question. We suggest that languages compress percepts into words by optimizing the Information Bottleneck (IB) tradeoff between the complexity and accuracy of their lexicons. We present empirical evidence that this principle may give rise to human-like semantic representations, by exploring how human languages categorize colors. We show that color naming systems across languages are near-optimal in the IB sense, and that these natural systems are similar to artificial IB color naming systems with a single tradeoff parameter controlling the cross-language variability. In addition, the IB systems evolve through a sequence of structural phase transitions, demonstrating a possible adaptation process. This work thus identifies a computational principle that characterizes human semantic systems, and that could usefully inform semantic representations in machines.

研究の動機と目的

• 言語における効率的で人間らしい意味的表現の出現を説明する計算的原理を同定すること。
• 情報ボトルネック（IB）原理が、色名付け体系における言語間の多様性を説明できるかどうかを検証すること。
• 自然な色名付け体系が、複雑さと正確さのIBトレードオフにおいてほぼ最適であるかどうかを評価すること。
• IBベースのモデルが、自然な色カテゴライゼーションで観察される構造的進化と相転移を再現できるかどうかを調査すること。
• 人間の色名付け行動を予測する能力において、IBフレームワークを従来のモデル（例：RKK+）と比較すること。

提案手法

• 話者と聞き手の間の通信ゲームを形式化し、語が知覚的意味の圧縮表現を表すように設定する。
• CIELAB色空間における等方的ガウス分布として色の意味をモデル化し、知覚的不確実性をσでパrameter化する。
• 実験的色名付けデータに基づく参照事前分布を用いて、各言語の認知的ソース分布p(c)を推定する。
• IB目的関数Fβ = I(M;W) - β I(M;M̂)を定義し、正確さの制約のもとでの語から意味への圧縮を最適化する。
• gNID（一般化された正規化情報距離）を用いて、自然なIB色名体系と人工IB色名体系の類似性を比較する。
• 5分割交差検証を実施し、εlおよびgNID指標を用いてIBとベースラインモデル（RKK+およびC-IB）を比較する。

実験結果

リサーチクエスチョン

• RQ1 情報ボトルネック原理は、多様な言語における人間の色名付け体系の構造と効率性を説明できるか？
• RQ2 自然な色名付け体系は、理論的IB曲線からの最小限のずれで、IBの観点からほぼ最適であるか？
• RQ3 1つのIBトレードオフパラメータβが、言語間の色カテゴリー体系の多様性を説明できるか？
• RQ4 IBベースの人工言語は、認知的または言語的進化に類似した構造的相転移を示すか？
• RQ5 IBフレームワークは、従来のモデル（例：RKK+）と比較して、人間の色名付け行動を予測する能力で優れているか？

主な発見

• 110の言語における自然な色名付け体系は、IBの観点からほぼ最適であり、εl = 0.18 ± 0.07と、理論的IB曲線からの最小限のずれを示している。
• IBモデルは、RKK+ベースラインモデルと比較して、εlで74%の改善、gNIDで55%の改善を達成している。
• 自然言語の複雑さに合わせてIBの複雑さを制約したC-IBは、IBとほぼ同等の性能を示しており、IBフレームワークの頑健性を確認している。
• βが増加するにつれて、人工IBシステムは構造的相転移を経験し、言語進化における潜在的な認知的プロセスに類似している。
• 視覚的検証とgNIDスコアの両方から、言語的に多様な言語間でも、自然な色名付け体系とIB生成体系との類似性が強く確認されている。
• 5分割交差検証の結果、IBフレームワークは言語を越えて良好に一般化しており、一貫した性能を示している。