[論文レビュー] Learning to Communicate Implicitly By Actions

Zheng Tian, Shihao Zou+5 more|arXiv (Cornell University)|Oct 10, 2018

Reinforcement Learning in Robotics参考文献 54被引用数 7

ひとこと要約

本稿では、共同的で情報が不完全な設定において、行動を通じて非公開情報を暗黙的に通信できる新しいアルゴリズムであるポリシー信念学習（PBL）を提案する。信念モジュールを用いて他者の非公開状態をモデル化し、行動ベースの通信を促進する新しい補助報酬で制御されるポリシーモジュールを組み合わせることで、明示的な通信チャネルが存在しない状況においても、行列ゲームやコンラクト・ブリッジの叫出しにおいてほぼ最適なパフォーマンスを達成する。

ABSTRACT

In situations where explicit communication is limited, human collaborators act by learning to: (i) infer meaning behind their partner's actions, and (ii) convey private information about the state to their partner implicitly through actions. The first component of this learning process has been well-studied in multi-agent systems, whereas the second --- which is equally crucial for successful collaboration --- has not. To mimic both components mentioned above, thereby completing the learning process, we introduce a novel algorithm: Policy Belief Learning (PBL). PBL uses a belief module to model the other agent's private information and a policy module to form a distribution over actions informed by the belief module. Furthermore, to encourage communication by actions, we propose a novel auxiliary reward which incentivizes one agent to help its partner to make correct inferences about its private information. The auxiliary reward for communication is integrated into the learning of the policy module. We evaluate our approach on a set of environments including a matrix game, particle environment and the non-competitive bidding problem from contract bridge. We show empirically that this auxiliary reward is effective and easy to generalize. These results demonstrate that our PBL algorithm can produce strong pairs of agents in collaborative games where explicit communication is disabled.

研究の動機と目的

• 明示的通信と比較して、行動を通じて非公開情報を伝える暗黙的通信がマルチエージェント強化学習で十分に検討されていないというギャップを埋める。
• エージェントが他者の非公開情報を推論するとともに、自らの非公開情報を暗黙的に伝える行動を学習できるフレームワークを開発する。
• 他者の信念をモデル化し、それに応じて行動することで、明示的信号なしに相互理解を促進する、心の理論（ToM）を学習に統合する。
• 多様な協働環境における不完全情報設定に一般化可能な実用的でスケーラブルなアルゴリズムを設計する。
• 明示的通信が無効化された状況でも、行動による暗黙的通信が強力な協働的パフォーマンスを達成できることを実証的に検証する。

提案手法

• PBLは二重モジュールアーキテクチャを採用する：他者の行動を観測することで、他のエージェントの非公開情報を推定する信念モジュールと、現在の観測と信念モジュールの出力を組み合わせて行動を選択するポリシー・モジュールである。
• ポリシー・モジュールは、行動が自エージェントの非公開状態に関する相方の信念の正確性をどの程度向上させるかを測る新しい補助報酬を用いて訓練される。これにより、情報伝達に寄与する行動が促進される。
• 補助報酬は主な学習目的に統合されており、ポリシーのエンドツーエンド訓練を可能にするとともに、暗黙的通信を促進する。
• このフレームワークは分散学習をサポートしており、各エージェントに別個の信念モジュールを設け、異なるデータストリームを用いて他者の心の状態をモデル化できる。
• アルゴリズムは深層強化学習により訓練され、経験リプレイとターゲットネットワークを用いてポリシーと信念モジュールを同時に最適化する。
• この手法は3つの環境で評価された：行列ゲーム、マルチエージェント・ピクチャー環境（Silent Guide）、およびコンラクト・ブリッジの叫出しタスク。スケーラビリティとロバストネスが示された。

実験結果

リサーチクエスチョン

• RQ1 明示的通信チャネルが存在しない状況において、エージェントは行動を通じて非公開情報を暗黙的に通信することができるか？
• RQ2 提案された補助報酬は、相方の信念の正確性を向上させる情報伝達に寄与する行動シーケンスをどの程度効果的に促進するか？
• RQ3 異なる信念モデルを有するエージェントでも、暗黙的通信を用いて効果的に協働できるか、その程度はいかほどか？
• RQ4 他者の信念をモデル化し、それに応じて行動するという心の理論（ToM）の統合は、不完全情報設定下での協働的パフォーマンスを向上させるか？
• RQ5 PBLフレームワークは、コンラクト・ブリッジの叫出しのような複雑で現実世界を模倣したタスクに一般化可能か？

主な発見

• PBLアルゴリズムは、明示的チャネルが存在しない行列ゲームにおいて、ほぼ最適なパフォーマンスを達成し、効果的な暗黙的通信を実現した。
• Silent Guideピクチャー環境では、補助通信報酬を用いて訓練されたエージェントが、正しいランドマークに近づくことでリスナーを目的の場所に導くのに対し、報酬なしのベースラインは通信に失敗した。
• PBLで訓練されたリスナーは、ガイドのポリシーが独立して訓練されていようとも、その行動に従うことを学習し、信念モデルの違いに対してもロバストであることが示された。
• コンラクト・ブリッジの叫出しタスクでは、モデルが意味のある叫出し慣習を学習した：スペードのHCPが4.5以上の場合にスペードをオープンする。これは効果的な暗黙的シグナリングを示している。
• アブレーションスタディの結果、履歴の記憶が限定的（最近の1回の叫出しのみ）であるとパフォーマンスが低下（平均スコア0.065）することが確認され、より長い履歴が信念モデルの正確性を向上させることを裏付けた。
• PBLフレームワークにより、訓練済みのガイドが、信念モデルを持たないナイーブリスナー（行動の観測のみ）と効果的に協働できることを示し、暗黙的シグナリングの実用的有用性を確認した。