[論文レビュー] The emergence of numerical representations in communicating artificial agents

Daniela Mihai, Lucas Weber+1 more|arXiv (Cornell University)|Feb 11, 2026

Cognitive and developmental aspects of mathematical skills被引用数 0

ひとこと要約

論文は、純粋なコミュニケーション圧力が二つのニューラルエージェントに数値表現を発展させるかを、離散トークンと連続スケッチを用いて調べ、 emergent codes の精度、一般化、および恣意性を評価する。

ABSTRACT

Human languages provide efficient systems for expressing numerosities, but whether the sheer pressure to communicate is enough for numerical representations to arise in artificial agents, and whether the emergent codes resemble human numerals at all, remains an open question. We study two neural network-based agents that must communicate numerosities in a referential game using either discrete tokens or continuous sketches, thus exploring both symbolic and iconic representations. Without any pre-defined numeric concepts, the agents achieve high in-distribution communication accuracy in both communication channels and converge on high-precision symbol-meaning mappings. However, the emergent code is non-compositional: the agents fail to derive systematic messages for unseen numerosities, typically reusing the symbol of the highest trained numerosity (discrete), or collapsing extrapolated values onto a single sketch (continuous). We conclude that the communication pressure alone suffices for precise transmission of learned numerosities, but additional pressures are needed to yield compositional codes and generalisation abilities.

研究の動機と目的

• コミュニケーション圧力だけで事前定義された概念なしにニューラルエージェントに数値表現が生まれるかを評価する。
• 象徴的（離散トークン）とアイコニック（スケッチ）なコミュニケーションチャネルを、 numerosities referential タスクの解決において比較する。
• emergent コードの特性：精度、効率性、恣意性、一般化、および潜在的な構成性を評価する。
• コードの構造と一般化に対する訓練データ頻度と学習戦略の影響を検討する。

提案手法

• sender がドット画像の数を受信者に伝える参照ゲームを用い、受信者は distractors の中から対応するターゲットを選択する。
• 2つの通信チャネルをテスト：LSTM エンコーダによって生成される離散トークンと、同じ画像エンコーダが読み取るブランクキャンバス上に描かれた連続スケッチ。
• 両エージェントはドット画像処理用に事前学習済み ViT エンコーダを共有し、正解ターゲット識別を最大化するために多クラスヒンジ損失を使用。
• 訓練と一般化段階で、在庫内 numerosities と unseen numerosities を評価し、一般化と外挿を調べる。
• 指標にはタスク精度、メッセージ長またはスケッチ Span、メッセージを与えた場合の numerosité の条件エントロピー、効率性に対する正則化の影響を含む。
• 刺激は情報的特徴としての numerosité を分離するよう制御し、視覚特性からの混乱要因を制限する。

実験結果

リサーチクエスチョン

• RQ1 純粋なコミュニケーション相互作用だけで、事前定義された概念なしに正確な数値表現が生まれるか？
• RQ2 離散チャネルと連続チャネルは、コミュニケーション圧力の下で類似の emergent 数値コードを生むか、それとも異なるか？
• RQ3 emergent コードは unseen numerosities に一般化できるか、構成的か全体的か？
• RQ4 頻度分布と学習戦略はコードの効率性と構造にどのように影響するか？

主な発見

• エージェントは訓練済み numerosities に対して、離散チャネルと連続チャネルの両方で高精度なコミュニケーションを学習する。
• 正則化圧力の下で、メッセージは短くなり、最小限の精度低下とエントロピー低下を示し、効率的な双射エンコードを示唆する。
• 訓練頻度を操作（Uniform/Increase/Decrease）しても、頻繁な numerosities のコードをより短く reliably 生成するとは限らず、恣意性は残る。
• unseen numerosities への一般化は弱く：外挿時には最大訓練数のシンボルを再利用する傾向があり、体系的な構造の欠如を示す。
• スケッチベースのコミュニケーションは外挿が偶然よりも良好だが、組成的なスケッチは依然得られず、両チャネルとも全体的には大半が holistic に留まる。
• 総じて、コミュニケーション圧力は学習した numerosities の正確な伝達を可能にするが、構成性と堅牢な一般化のためには追加の圧力が必要である。