[論文レビュー] Long-Term Planning and Situational Awareness in OpenAI Five

Jonathan Raiman, Susan Zhang+1 more|arXiv (Cornell University)|Dec 13, 2019

Reinforcement Learning in Robotics参考文献 13被引用数 7

ひとこと要約

この論文は、OpenAI Five — あるモデルフリーの深層強化学習エージェント — が、明示的な階層的アクションを用いずに、長期間の計画立案と状況認識をどのように発展させるかを調査している。埋め込み同士の類似性を分析し、隠れ状態を復号して将来の目標や報酬を予測することで、著者らは、エージェントが最大90秒先まで計画していること、そして明示的なマクロアクションの指導なしにゲームメカニクスの意味的理解を示していることを示している。

ABSTRACT

Understanding how knowledge about the world is represented within model-free deep reinforcement learning methods is a major challenge given the black box nature of its learning process within high-dimensional observation and action spaces. AlphaStar and OpenAI Five have shown that agents can be trained without any explicit hierarchical macro-actions to reach superhuman skill in games that require taking thousands of actions before reaching the final goal. Assessing the agent's plans and game understanding becomes challenging given the lack of hierarchy or explicit representations of macro-actions in these models, coupled with the incomprehensible nature of the internal representations. In this paper, we study the distributed representations learned by OpenAI Five to investigate how game knowledge is gradually obtained over the course of training. We also introduce a general technique for learning a model from the agent's hidden states to identify the formation of plans and subgoals. We show that the agent can learn situational similarity across actions, and find evidence of planning towards accomplishing subgoals minutes before they are executed. We perform a qualitative analysis of these predictions during the games against the DotA 2 world champions OG in April 2019.

研究の動機と目的

• モデルフリーの深層強化学習エージェント（例：OpenAI Five）が、明示的な階層的アクション構造なしに、長期間の計画立案と状況認識をどのように発展させるかを理解すること。
• エージェントの埋め込みに内蔵された分散表現が、ヒーロー、スキル、アイテムなどのゲーム要素間の意味的類似性をどのようにエンコードしているかを調査すること。
• 将来のゲーム状態、目標、報酬を予測するための隠れ状態の復号手法を開発し、エージェントの意図の解釈を可能にすること。
• 自己対戦と疎い報酬割り当てによって訓練されたスーパー人間レベルのAIエージェントにおいて、計画行動がどのように出現するかを分析すること。
• 複雑で意味的に豊かな環境で動作する大規模な強化学習エージェントのための解釈可能性ツールを提供すること。

提案手法

• ゲーム要因（例：ヒーロー、スキル）の学習済み埋め込み間のコサイン類似度を分析し、意味的構造と機能的類似性を評価すること。
• 方策ネットワークの固定された隠れ状態を用いて、将来のゲーム状態（ターゲット位置や目的）を予測する教師あり復号モデルを訓練すること。
• 将来のゲームマイルストーン（例：タワー破壊、キル、デス）を、隠れ状態の復号のための監督信号として用いること。
• 複数の将来の目的を同時に予測するためのマルチヘッド復号ヘッドを採用すること：移動ターゲット、攻撃ターゲット、報酬結果。
• OpenAI Five 対 OG 決勝戦の実戦シーケンスに復号法を適用し、予測行動を可視化・検証すること。
• 可視化を用いて、予測された将来の行動（例：攻撃、撤退）と実際のゲーム内行動を結びつけ、攻撃的・防御的・回避的行動の解釈を可能にすること。

実験結果

リサーチクエスチョン

• RQ1 OpenAI Five の埋め込みにおける分散表現は、明示的指導なしに、ゲーム要因同士の機能的・意味的類似性を捉えられるか？
• RQ2 方策ネットワークの隠れ状態は、30〜90秒先の将来のゲーム状態や目的に関する予測情報を含んでいるか？
• RQ3 明示的なマクロアクションが存在しないにもかかわらず、特定のタワーを標的にしたり、攻撃を連携したりする行動が、長期計画の証拠と見なせるか？
• RQ4 敵の動的行動に応じてエージェントの予測はどのように変化するか？ これにより、その状況認識の程度がどのように明らかになるか？
• RQ5 隠れ状態の復号は、攻撃的・防御的・回避的戦略といったエージェントの意図に関する解釈可能なインサイトを提供できるか？

主な発見

• ゲーム要因の埋め込み間のコサイン類似度は、訓練過程で変化し、モデルがヒーロー、スキル、アイテム間で意味的に意味のある関係を学習していることが明らかになった。
• 隠れ状態の復号は、最大90秒先まで攻撃ターゲットや移動目標といった将来の目的を正確に予測できており、長期計画の兆候を示している。
• モデルは将来のキルやデスを高い精度で予測でき、これらの予測は敵との距離を縮める、または逃走するといった観察可能な行動と相関していた。
• OpenAI Five 対 OG 決勝戦において、モデルの予測は、実行の55秒前までに敵タワーへの連携攻撃を的確に予測しており、敵の防御が変化した際には動的に更新された。
• 復号器は、敵の強化部隊が到着した際に攻撃を放棄するなど、エージェントが計画をリアルタイムで調整していることを特定しており、適応的状況認識を示している。
• この手法により、チーム全体の戦略的意図（例：集団的な移動とターゲティング予測に基づく敵基地構造への連携攻撃）の可視化が可能になった。