[論文レビュー] Extending rational models of communication from beliefs to actions

Theodore R. Sumers, Robert D. Hawkins+2 more|arXiv (Cornell University)|May 25, 2021

Topic Modeling参考文献 24被引用数 8

ひとこと要約

本稿は、合理的な通信モデルにおける信念志向的・行動志向的目的を統合する新しいフレームワーク、信号バンドイット（signaling bandits）を提案する。発話者の推論に聴取者の意思決定を統合することで、結合された発話者モデルは、複雑で不確実性の高い環境において、より真実的で一般化可能で行動効果的な言語を生成する。シミュレーションにおいて、純粋に信念志向的または行動志向的アプローチを上回る性能を示す。

ABSTRACT

Speakers communicate to influence their partner's beliefs and shape their actions. Belief- and action-based objectives have been explored independently in recent computational models, but it has been challenging to explicitly compare or integrate them. Indeed, we find that they are conflated in standard referential communication tasks. To distinguish these accounts, we introduce a new paradigm called signaling bandits, generalizing classic Lewis signaling games to a multi-armed bandit setting where all targets in the context have some relative value. We develop three speaker models: a belief-oriented speaker with a purely informative objective; an action-oriented speaker with an instrumental objective; and a combined speaker which integrates the two by inducing listener beliefs that generally lead to desirable actions. We then present a series of simulations demonstrating that grounding production choices in future listener actions results in relevance effects and flexible uses of nonliteral language. More broadly, our findings suggest that language games based on richer decision problems are a promising avenue for insight into rational communication.

研究の動機と目的

• 信念志向的および行動志向的目的を、これまで別個または混同されてきた合理的な通信モデルで統合すること。
• 現行のモデルが、現実世界の結果や行動を考慮しないで信念の伝達にのみ焦点を当てているという限界に対処すること。
• 発話者が発話が聴取者の信念をどのように形成し、最終的に意思決定文脈での行動に影響を与えるかを推論できる統一されたフレームワークを構築すること。
• 通信を将来の聴取者の行動に根拠づけることで、より関連性があり真実的で一般化可能な言語使用が促進されるかどうかを調査すること。
• 古典的信号ゲームを多腕バンディット意思決定問題に一般化した新しいタスクパラダイム「信号バンドイット」を用いて、モデルを検証すること。

提案手法

• ステージストリックな報酬を伴う多腕バンディット意思決定問題に埋め込んだ、リウイズ信号ゲームを拡張した新しいタスクパラダイム「信号バンドイット」を提案。
• 信念志向的発話者（情報性を最大化）、行動志向的発話者（期待行動効用を最大化）、結合発話者（誘導された信念を介した期待効用を最適化）の3つの発話者モデルを開発。
• リーダーシップ・スピーチ・アクトス（RSA）フレームワークを基盤とし、信念だけでなく行動に対する聴取者の効用関数を含めるように拡張。
• 温度パラメータ（β）を用いたソフトマックス意思決定ポリシーを採用し、発話選択における確率的選択をモデル化。
• 発話に基づいて信念を更新し、それらの信念の下で期待効用を最大化する行動を選択する聴取者の推論プロセスを導入。
• 局所的およびグローバルな意思決定ホライズンの両方の文脈で発話者の行動をシミュレートし、真実性、行動最適性、報酬などの指標を用いて評価。

実験結果

リサーチクエスチョン

• RQ1 信念志向的および行動志向的発話者モデルは、意思決定文脈において、発話選択や性能でどのように異なるか？
• RQ2 信念形成と行動結果を統合した統一された発話者モデルは、純粋に信念志向的または行動志向的モデルよりも、より効果的かつ真実的な通信を生み出せるか？
• RQ3 将来的な聴取者の行動に通信を根拠づけることで、より一般化可能で文脈に強く耐性のある言語使用が促進されるか？
• RQ4 豊かな意思決定環境において、情報性と行動関連性の最適なバランスはどのように形成されるか？
• RQ5 聴取者の意思決定ホライズン（局所的 vs グローバル）が、発話者の発話の構造と真実性にどのように影響を与えるか？

主な発見

• 結合発話者モデルは、すべての指標で信念志向的および行動志向的モデルを上回り、局所的およびグローバルな文脈の両方でより高い期待報酬と高い行動最適性を達成する。
• グローバルな文脈（シミュレーション3）では、β→∞の極限で結合発話者モデルは、真実の発話 ⟨Green, 2⟩ を100％の確率で出力するが、行動志向的発話者モデルは、⟨Green, 2⟩ と ⟨Circle, 2⟩ の間で無差別である。
• 行動志向的発話者モデルは、局所的文脈において頻繁に誤ったまたは誇張された発話（例：誤解を招く信号）を生成し、行動結果を改善するが、信念を歪める。
• 結合発話者モデルは、潜在的な報酬構造に敏感であるため、多様な将来の文脈で最適な行動を支援する真実的で一般化可能な発話を好む。
• 高い最適性（β→∞）であっても、複数の発話が同等の行動結果をもたらす場合、行動志向的発話者モデルは真実のメッセージに収束しないが、結合発話者モデルは収束する。
• 信念志向的発話者モデルは、一様事前分布の下で真実の発話がすべて同等に情報的であるため、βに依存しないが、行動関連の意思決定を支援できない。