[論文レビュー] Emergent Communication through Negotiation

Kris Cao, Angeliki Lazaridou+4 more|arXiv (Cornell University)|Apr 11, 2018

Evolutionary Game Theory and Cooperation参考文献 27被引用数 47

ひとこと要約

エージェントは2つの通信チャネルを介して交渉を学習する。自己利益型エージェントは地に足のついた提案で成功するが安価な会話(チープトーク)では成功しない。一方、利他的エージェントはチープトークを活用して最適な共同割当を達成し、エージェントの識別性がコミュニティ内の交渉を支援する。

ABSTRACT

Multi-agent reinforcement learning offers a way to study how communication could emerge in communities of agents needing to solve specific problems. In this paper, we study the emergence of communication in the negotiation environment, a semi-cooperative model of agent interaction. We introduce two communication protocols -- one grounded in the semantics of the game, and one which is extit{a priori} ungrounded and is a form of cheap talk. We show that self-interested agents can use the pre-grounded communication channel to negotiate fairly, but are unable to effectively use the ungrounded channel. However, prosocial agents do learn to use cheap talk to find an optimal negotiating strategy, suggesting that cooperation is necessary for language to emerge. We also study communication behaviour in a setting where one agent interacts with agents in a community with different levels of prosociality and show how agent identifiability can aid negotiation.

研究の動機と目的

• 多-agent negotiation settingsにおいて通信がどのように出現するかの研究を動機付ける。
• 地に足のついた（タスク特異的）通信と、 Ungrounded（安価な会話）通信の役割を調査する。
• 自己利益型と利他的エージェントが報酬最大化のために通信をどのように異なる形で利用するかを検討する。
• エージェントの識別性とコミュニティ構成が交渉ダイナミクスと言語の出現にどのような影響を与えるかを探る。

提案手法

• 2つのエージェントが隠れた効用を持つアイテムのプールを分割する半協力的な交渉ゲームをモデル化する。
• タスクに基づく提案チャネルと、制約のない言語的な安価な会話チャネルの2つの通信チャネルを実装する。
• 異なるインセンティブ構造を研究するために自己中心的および利他的な報酬スキームを導入する。
• アイテムの文脈、過去のメッセージ、提案を処理するためにLSTMベースのアーキテクチャを使用し、ポリシー勾配（REINFORCE）学習と結合する。
• 自己利益型の交渉（通信あり/なし）、安価な会話を介した利他的な協調、エージェントコミュニティとの社会規模の相互作用など、複数の実験を評価する。

実験結果

リサーチクエスチョン

• RQ1 自己利益型エージェントは地に足のついた提案チャネルを用いて公正な交渉を学習できるか。
• RQ2 安価な会話は効果的な交渉を可能にするか。どの条件で失敗または成功するのか。
• RQ3 利他的なエージェントは言語チャネルを活用してほぼ最適な共同割当を達成できるか。
• RQ4 識別性とさまざまなエージェントからなるコミュニティとの相互作用が交渉結果と言語出現にどのような影響を与えるか。

主な発見

• 地に足のついた提案チャネルを用いた場合、自己利益型エージェントはアイテムを公正に分けることを学習し、総効用のほぼ等分を達成する。
• 言語チャネルのみでは、自己利益型エージェントは意味のあるコミュニケーションを地に足がつかず、効果的な交渉が難しくなる。
• 利他的なエージェントは安価な会話を用いてほぼ最適な共同割当に到達し、言語での協調性は堅牢だが自己中心的エージェントだけでは安価な会話では成立しない。
• 安価な会話は利他的エージェント間の協調を大幅に改善し、共同最適性の分散を減少させる。
• 社会において、識別性は自己利益型エージェントが他者を利用・適応するのを助ける一方、IDが公開されていないコミュニティでは利他的エージェントの間で言語が出現することがある。