[論文レビュー] Environment Generation for Zero-Shot Compositional Reinforcement Learning

İzzeddin Gür, Natasha Jaques+5 more|arXiv (Cornell University)|Jan 21, 2022

Multimodal Machine Learning Applications被引用数 6

ひとこと要約

本論文では、強化学習（RL）エージェントのスキルレベルに合わせて段階的に複雑化する構成的タスクのカリキュラムを自動生成するための生成エージェントを用いた、構成的環境設計（CoDE）を提案する。レジットに基づく安定化とタスク難易度の調整を組み合わせたマルチオブジェクティブな報酬関数を活用することで、ベースラインと比較して4倍の成功確率を達成し、未学習の実世界のウェブナビゲーションタスクに対してもゼロショット一般化を実現する。

ABSTRACT

Many real-world problems are compositional - solving them requires completing interdependent sub-tasks, either in series or in parallel, that can be represented as a dependency graph. Deep reinforcement learning (RL) agents often struggle to learn such complex tasks due to the long time horizons and sparse rewards. To address this problem, we present Compositional Design of Environments (CoDE), which trains a Generator agent to automatically build a series of compositional tasks tailored to the RL agent's current skill level. This automatic curriculum not only enables the agent to learn more complex tasks than it could have otherwise, but also selects tasks where the agent's performance is weak, enhancing its robustness and ability to generalize zero-shot to unseen tasks at test-time. We analyze why current environment generation techniques are insufficient for the problem of generating compositional tasks, and propose a new algorithm that addresses these issues. Our results assess learning and generalization across multiple compositional tasks, including the real-world problem of learning to navigate and interact with web pages. We learn to generate environments composed of multiple pages or rooms, and train RL agents capable of completing wide-range of complex tasks in those environments. We contribute two new benchmark frameworks for generating compositional tasks, compositional MiniGrid and gMiniWoB for web navigation.CoDE yields 4x higher success rate than the strongest baseline, and demonstrates strong performance of real websites learned on 3500 primitive tasks.

研究の動機と目的

• ウェブナビゲーションやフォーム入力のような複雑で構成的な実世界タスクに一般化できるように、RLエージェントを訓練する課題に対処すること。
• タスク難易度がエージェントの熟練度と一致しない構成的タスク設定において、従来のカリキュラム学習やドメインランダマイゼーションの限界を克服すること。
• 階層的で依存関係に基づくタスク構造をサポートする、ドメインに依存しないスケーラブルな環境生成フレームワークを開発すること。
• エージェントの性能の弱みを狙ったカリキュラムで訓練することで、未学習のタスクに対しゼロショット一般化を可能にすること。
• 構成的タスク学習の評価を目的とした2つのオープンソースベンチマーク—構成的MiniGridとgMiniWoB—を導入すること。

提案手法

• 複数のエージェント集団間のレジットを最大化することで学習を安定化させ、局所最適を回避するマルチオブジェクティブ報酬関数を用いて、生成エージェントを訓練する。
• 学習者の現在のパフォーマンスに応じて動的にタスクの複雑さを調整する難易度インcentiveを組み込み、エージェントが成功すると難易度を上げ、失敗すると下げるようにする。
• 構成的タスクを依存関係グラフとしてモデル化するため、ペトリネット形式を用い、プリミティブから構造的で階層的なタスク生成を可能にする。
• ナビゲーションバー、フォームフィールド、製品カルーセルなどの再利用可能なプリミティブから環境を構成するドメインに依存しない生成アーキテクチャを採用し、スケーラブルで多様な環境作成を実現する。
• 段階的にアクティブおよびパッシブなプリミティブの数を増やし、時間の経過とともにより複雑で関連性の高いプリミティブへとシフトすることで、カリキュラム学習をサポートする。
• 実ウェブサイトの例として約10^31の可能な環境空間をカバーするようにトレーニングすることで、多様で現実的なタスクトポロジーへの露出を可能にする。

実験結果

リサーチクエスチョン

• RQ1 生成エージェントは、エージェントのスキルレベルの変化に応じて適応的に進化する構成的タスクのカリキュラムを自動で構築できるか？
• RQ2 レジット推定と難易度調整を組み合わせたマルチオブジェクティブ報酬関数は、構成的RLにおける学習の安定性とパフォーマンスをどのように向上させるか？
• RQ3 CoDEで訓練されたRLエージェントは、未学習の実世界のウェブナビゲーションタスクに対し、どの程度ゼロショット一般化を達成できるか？
• RQ4 ペトリネットでモデル化されたタスクトポロジーは、構造的で一般化可能なタスク学習をどのように可能にするか？
• RQ5 提案されたベンチマーク—構成的MiniGridとgMiniWoB—は、既存のベンチマークと比較して、複雑さと現実性の点でどの程度優れているか？

主な発見

• CoDEは、複数の構成的タスクにおいて、最も強力なベースラインと比較して4倍の成功確率を達成し、顕著なパフォーマンス向上を示した。
• 環境の複雑さが増してもCoDEエージェントは一貫したパフォーランスを維持するが、カリキュラム学習（CL）やドメインランダマイゼーション（DR）のようなベースラインは、難易度が一致しないため性能が低下する。
• 実ウェブサイトでは、ログインタスクで62%の成功、ショッピングタスクで44%の成功を達成したが、決済タスクでは9%に低下し、プリミティブの分布的シフトが原因であることが示された。
• 100倍の大きなプリミティブセットを用いることで、約10^31の可能な環境空間にスケーリングし、現実的なウェブナビゲーション訓練を可能にした。
• 分布的シフトにもかかわらず、CoDEエージェントはMiniWoBの手作業で設計されたプリミティブに一般化でき、アドレス入力タスクでは90%の成功、単純なテキスト入力タスクでは0%の成功を示し、選択的で一般化していることが示された。
• この手法により、1つのRLエージェントが複数のページや複雑なワークフローをカバーする幅広いタスク—フォーム入力やナビゲーションなど—を習得でき、未学習のウェブサイトに対してもゼロショットデプロイが可能になった。