[論文レビュー] Adversarially Guided Self-Play for Adopting Social Conventions

Mycal Tucker, Yilun Zhou+1 more|arXiv (Cornell University)|Jan 16, 2020

Reinforcement Learning in Robotics参考文献 27被引用数 6

ひとこと要約

本稿では、対話のないデモデータ（入力なしに行動のみを出力するエージェントからの出力）のみを用いて、既存の社会的慣習を学習・採用できる手法である敵対的自己対戦（Adversarial Self-Play, ASP）を提案する。敵対的訓練と自己対戦を組み合わせ、最小限のペairedデータを用いることで、学習効率を著しく向上させ、わずか2例のペaired例でも社会的規範への強い適合性を達成する。

ABSTRACT

Robotic agents must adopt existing social conventions in order to be effective teammates. These social conventions, such as driving on the right or left side of the road, are arbitrary choices among optimal policies, but all agents on a successful team must use the same convention. Prior work has identified a method of combining self-play with paired input-output data gathered from existing agents in order to learn their social convention without interacting with them. We build upon this work by introducing a technique called Adversarial Self-Play (ASP) that uses adversarial training to shape the space of possible learned policies and substantially improves learning efficiency. ASP only requires the addition of unpaired data: a dataset of outputs produced by the social convention without associated inputs. Theoretical analysis reveals how ASP shapes the policy space and the circumstances (when behaviors are clustered or exhibit some other structure) under which it offers the greatest benefits. Empirical results across three domains confirm ASP's advantages: it produces models that more closely match the desired social convention when given as few as two paired datapoints.

研究の動機と目的

• ロボットエージェントが、広範な相互作用やペaired入出力データを必要とせずに、右側走行や左側走行といった既存の社会的慣習を採用できるようにすること。
• 観察的に拡張された自己対戦（Observationally Augmented Self-Play, OSP）などの先行手法が、実世界の設定ではしばしば収集が困難な高コストなペairedデータ（入力と出力のペア）に依存するという限界を解決すること。
• 社会的慣習に従うエージェントからの出力のみ（入力なし）を用いた未ペairedデータを活用し、敵対的訓練によってポリシー学習を誘導する手法を開発すること。これは、人間が観察によって学ぶのと同様のプロセスを模倣する。
• 政策空間を既存の社会的慣習に適合させるように形状づけることで、マルチエージェント強化学習におけるサンプル効率を向上させること。
• 通信ゲーム、オートエンコーダ、マルチステップ協調タスクを含む多様な分野において、本手法の汎用性と頑健性を実証すること。

提案手法

• ASPは、社会的慣習に従うエージェントからの未ペaired出力のみを用いて、訓練中のエージェントが生成する行動と慣習に従う行動を区別する識別器を導入する。
• 訓練エージェントは、識別器をだませるように最適化され、入力情報が存在しない状況でも、社会的慣習のポリシー分布に一致するようにされる。
• ASPは、エージェントが共同MDP内で互いに学習する自己対戦と組み合わせられ、協調性と望ましい慣習への収束が向上する。
• 本手法は、限定的なペairedデータ（教師信号として）と未ペairedデータ（敵対的ポリシー形状づけのため）を組み合わせ、高価なペairedデモへの依存度を低減する。
• 理論的分析により、行動がクラスタリングされているか、構造的パターンを示している場合にASPが最も効果的であることが示されている。この場合、識別器はポリシー学習をより効果的に誘導できる。
• モジュラーな設計ゆえに、深層強化学習、模倣学習、オートエンコーダを含む多様な学習フレームワークに一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 社会的慣習に従うエージェントからの未ペaired出力のみを用いて、入力-行動ペアデータを一切必要とせずにエージェントが社会的慣習に適合できるか。
• RQ2 ペairedでないデータを用いた敵対的訓練は、従来の自己対戦や模倣学習手法と比較して、ポリシー学習の効率性と正確性をどのように向上させるか。
• RQ3 クラスタリングされた行動や特定のポリシー分布といった構造的条件下では、敵対的形状づけが最も大きな利益をもたらすのか。
• RQ4 ASPは、時間的に延長された通信タスクや複数ステップの協調ゲームを含む多様なマルチエージェント環境に一般化可能か。
• RQ5 ASPは、社会的慣習への高い適合性を達成するために必要なペairedデモの数をどの程度削減できるか。

主な発見

• ASPは、わずか2例のペairedデータポイントでさえも、先行手法よりも著しく高い社会的慣習への適合性を達成する。
• ペairedデータへの依存度を未ペaired出力の活用によって低減することで、観察データのみから慣習を学習することが可能になる。
• 通信タスク、オートエンコーダ、マルチエージェント協調タスクの3分野における実験的結果から、ターゲット慣習とのポリシー整合性が一貫して向上していることが示された。
• 理論的分析により、行動にクラスタリングや構造的パターンが見られる場合、ASPが政策空間を効果的に形状づけることが確認され、学習効率が向上することが裏付けられた。
• ASPは、人間が明示的な指導なしに環境の一定した行動を観察することで学ぶのと同様の方法で、社会的慣習を学習可能である。
• ASPの識別器は強力なインダクティブバイアスとして機能し、最小限の監視信号でも正しい慣習にポリシーを導く。