[論文レビュー] Few-shot Language Coordination by Modeling Theory of Mind

Hao Zhu, Graham Neubig+1 more|arXiv (Cornell University)|Jul 12, 2021

Topic Modeling被引用数 6

ひとこと要約

本論文では、話者エージェントがリスナーの心の理論（ToM）をモデル化することで、リアルタイムで適応的な指示を生成する少数ショット言語協調フレームワークを提案する。メタラーニングを用いてリスナーの行動を予測することで、参照ゲームおよび言語ナビゲーションタスクにおいて、リスナーの信念を明示的に推論することにより、非ToMベースラインと比較して、少数ショット適応のシナリオで通信効率が向上することを示している。

ABSTRACT

$ extit{No man is an island.}$ Humans communicate with a large community by coordinating with different interlocutors within short conversations. This ability has been understudied by the research on building neural communicative agents. We study the task of few-shot $ extit{language coordination}$: agents quickly adapting to their conversational partners' language abilities. Different from current communicative agents trained with self-play, we require the lead agent to coordinate with a $ extit{population}$ of agents with different linguistic abilities, quickly adapting to communicate with unseen agents in the population. This requires the ability to model the partner's beliefs, a vital component of human communication. Drawing inspiration from theory-of-mind (ToM; Premack& Woodruff (1978)), we study the effect of the speaker explicitly modeling the listeners' mental states. The speakers, as shown in our experiments, acquire the ability to predict the reactions of their partner, which helps it generate instructions that concisely express its communicative goal. We examine our hypothesis that the instructions generated with ToM modeling yield better communication performance in both a referential game and a language navigation task. Positive results from our experiments hint at the importance of explicitly modeling communication as a socio-pragmatic progress.

研究の動機と目的

• マルチエージェント通信研究におけるギャップに対処するため、エージェントが自己対戦で訓練されるが、新しい相手に適応できないという点に焦点を当てる。
• エージェントが多様な言語能力を持つ未確認のリスナーに素早く適応できる現実的設定として、少数ショット言語協調を検討する。
• リスナーの心の状態（心の理論、ToM）を明示的にモデル化することで、動的で複数ラウンドにわたる対話において通信パフォーマンスが向上するかを調査する。
• 信念トラッキングを用いてリスナーの行動を予測し、リアルタイムで最適な指示を選択する話者エージェントを開発する。
• 視覚言語ナビゲーションおよび参照ゲームの両設定において、ToMモデリングの有効性を示し、適応性およびパフォーマンスの向上を確認する。

提案手法

• 話者エージェントは、異なる指示に対してリスナーがどの行動をとるかを予測することで、新しいリスナーに素早く適応するため、メタラーニングに依存するモデルに依存する。
• 各タイムステップで、話者エージェントは、過去の相互作用および可能な指示を前提として、リスナーの次の行動の可能性に関する信念状態を維持する。
• ToMモデルは、多様な言語能力を持つリスナーの行動を予測するために訓練され、話者が正しい行動の確率を最大化するような指示を選択できるようにする。
• 話者は、予測された信念状態に基づいて、リスナーが正しい行動をとる確率を最大化する指示を選択する。
• フレームワークは2つの設定で評価される：マルチリンガルな参照ゲームと言語ナビゲーションタスクであり、パフォーマンスは成功確率と指示効率で測定される。
• ToMモデルは、指示生成プロセスにおけるリランクラーモデルとして機能し、社会的・実用的推論を明示的にモデル化することで意思決定を改善する。

実験結果

リサーチクエスチョン

• RQ1 話者エージェントは、異なる言語能力を持つ未確認のリスナーに数回の相互作用で効果的に適応できるか？
• RQ2 リスナーの心の理論（ToM）を明示的にモデル化することで、少数ショット協調タスクにおける通信パフォーマンスが向上するか？
• RQ3 ToMベースの信念トラッキングは、非ToMベースラインと比較して、指示効率および成功確率の面でどのように差をつけるか？
• RQ4 モデルは多様なリスナータイプに一般化可能であり、動的で複数ラウンドにわたる相互作用中にも正確な信念状態を維持できるか？
• RQ5 ToMモデリングは、誤通信を是正し、即座に指示レベルを調整する能力をエージェントにどの程度向上させるか？

主な発見

• ToMベースの話者モデルは、参照ゲームおよび言語ナビゲーションタスクの両方で、非ToMベースラインを著しく上回り、優れた少数ショット適応性を示した。
• より簡潔で効果的な指示を選択することで、成功確率が向上した。例えば、適切な場合には「指示なし」を選択することで、冗長な命令を回避した。
• 話者エージェントは、リスナーの誤解（例：「cool」を目的地と誤解する）を検出し、軌道を是正する低レベルの指示で応答できた。
• ToMモデルは、高い正確性でリスナーの行動を予測でき、より良い指示選択を可能にし、誤った通信によるエラーを低減した。
• メタラーニングの使用により、未確認のリスナーに対しても一般化可能であり、ゼロショット協調シナリオにおいても頑健な性能を示した。
• 実験的結果から、社会的・実用的推論（心の理論を介して）を明示的にモデル化することで、動的で相互作用的な設定において、より効率的かつ効果的な通信が実現することが確認された。