[論文レビュー] Learning Social Conventions in Markov Games.

Adam Lerer, Alexander Peysakhovich|arXiv (Cornell University)|Jun 26, 2018

Opinion Dynamics and Social Influence被引用数 10

ひとこと要約

この論文は、自己対戦学習に模倣学習を統合する強化学習フレームワークを提案し、マルチエージェントマルコフゲームにおける社会的慣習の学習を支援する。訓練中に社会的行動の限られた観測を活用することで、標準的な独立的マルチエージェント強化学習が正しい慣習に到達できない環境であっても、テスト時に対応可能な均衡に収束する可能性が著しく向上する。

ABSTRACT

Social conventions - arbitrary ways to organize group behavior - are an important part of social life. Any agent that wants to enter an existing society must be able to learn its conventions (e.g. which side of the road to drive on, which language to speak) from relatively few observations or risk being unable to coordinate with everyone else. We consider the game theoretic framework of David Lewis which views the selection of a social convention as the selection of an equilibrium in a coordination game. We ask how to construct reinforcement learning based agents that can solve the convention learning task in the self-play paradigm: at training time the agent has access to a good model of the environment and a small amount of observations about how individuals in society act. The agent then has to construct a policy that is compatible with the test-time social convention. We study three environments from the literature which have multiple conventions: traffic, communication, and risky coordination. In each of these we observe that adding a small amount of imitation learning during self-play training greatly increases the probability that the strategy found by self-play fits well with the social convention the agent will face at test time. We show that this works even in an environment where standard independent multi-agent RL very rarely finds the correct test-time equilibrium.

研究の動機と目的

• エージェントが、車の走行方向など任意の協調ルールである社会的慣習を、社会行動の限られた観測のみを用いて学習する方法の課題を解決すること。
• 自己対戦学習と模倣学習を組み合わせることで、テスト時に正しい社会的慣習に適合する可能性が向上するかどうかを調査すること。
• 交通、通信、リスクを伴う協調ゲームを含む、複数の均衡が存在する環境での評価を行うこと。
• このアプローチが、標準的な独立的マルチエージェント強化学習に比べて正しいテスト時均衡を効果的に発見できることを示すこと。
• 社会的行動に関するわずかな観測データが、自己対戦学習における慣習学習を著しく改善できることを示すこと。

提案手法

• 本手法は、社会的行動の少量の観測から模倣学習を組み込んだ修正された学習目的を用いた自己対戦学習を採用する。
• エージェントは、自己対戦強化学習と、社会的慣習からの観測軌跡における行動クラーニングの両方を用いて訓練される。
• 模倣学習の要素により、個々の社会的行動パターンに適合する方策が促進され、それらが個別に最適でない場合でも同様に促進される。
• フレームワークは、交通協調、言語ベースの通信、リスクを伴う協調ゲームの3つのベンチマーク環境に適用される。
• 訓練プロセスにより、最終的な方策は自己対戦での有効性に加え、テスト時の社会的慣習と整合性を持つことが保証される。
• 本手法は正しい均衡に関する事前知識を必要とせず、観測データから慣習を推論して学習する。

実験結果

リサーチクエスチョン

• RQ1 自己対戦学習と模倣学習を組み合わせることで、テスト時に正しい社会的慣習を採用する確率が向上するか？
• RQ2 標準的な独立的マルチエージェント強化学習が正しくない均衡に収束しがちな、複数の均衡が存在する環境において、このアプローチの有効性はいかが？
• RQ3 社会的行動に関するわずかな観測データが、純粋な自己対戦学習と比較して、慣習学習を著しく改善するか？
• RQ4 どのような種類の協調ゲームにおいて、模倣学習の追加が慣習適合性の向上に最も顕著な効果をもたらすか？
• RQ5 交通ルール、言語使用、リスク協調などの異なる社会的慣習タスクに、本手法は一般化可能か？

主な発見

• 自己対戦学習中に模倣学習を追加することで、3つのすべての環境において学習された方策がテスト時の社会的慣習と一致する確率が著しく向上した。
• 標準的な独立的マルチエージェント強化学習が正しくない均衡にほとんど収束しないリスクを伴う協調ゲームでは、本手法が正しくない慣習に収束した。
• わずかな数の行動デモンストレーションしか入手できない状況でも、観測された社会的慣習と高い整合性を持つ方策を達成できた。
• 模倣学習の統合により、純粋な自己対戦学習と比較して収束が速く、方策学習の安定性も向上した。
• 評価されたすべての環境で、ベースラインの独立的マルチエージェント強化学習を上回ったが、特に均衡の多様性が高い状況で顕著な優位性を示した。
• 社会的行動に関する観測データが、明示的な報酬設計なしに、エージェントが社会的に適合可能な均衡に導かれるのに十分であることが示された。