[論文レビュー] Unicorn: Continual Learning with a Universal, Off-policy Agent

Daniel J. Mankowitz, Augustin Žídek+8 more|arXiv (Cornell University)|Feb 22, 2018

Domain Adaptation and Few-Shot Learning参考文献 42被引用数 37

ひとこと要約

Unicornは、並列な経験再生とユニバーサル価値関数近似（UVFA）を用いて、複数のポリシーを統合的に表現・学習することで、深い依存関係構造を持つ複数のタスクにわたる継続的学習を可能にする、普遍的でオフポリシーな強化学習エージェントを提案する。経験の共有とスキルの再利用を効率的に行うことで、スパarsely報酬が与えられる3次元環境における複雑で階層的なタスクで優れた性能を達成し、ベースラインを上回る。

ABSTRACT

Some real-world domains are best characterized as a single task, but for others this perspective is limiting. Instead, some tasks continually grow in complexity, in tandem with the agent's competence. In continual learning, also referred to as lifelong learning, there are no explicit task boundaries or curricula. As learning agents have become more powerful, continual learning remains one of the frontiers that has resisted quick progress. To test continual learning capabilities we consider a challenging 3D domain with an implicit sequence of tasks and sparse rewards. We propose a novel agent architecture called Unicorn, which demonstrates strong continual learning and outperforms several baseline agents on the proposed domain. The agent achieves this by jointly representing and learning multiple policies efficiently, using a parallel off-policy learning setup.

研究の動機と目的

• 明示的なタスク境界やカリキュラム設計なしに、深い依存関係を持つ複数のタスクを解ける継続的学習エージェントの開発。
• 並列でオフポリシーなフレームワークにおいて、経験と表現の共有を通じて、タスク間で効率的かつスケーラブルな学習を可能にすること。
• スキル習得とタスク構成を分離する従来の2段階強化学習手法の限界を克服すること。
• スパarsely報酬が与えられる豊富な3次元環境において、複雑で相互に依存するタスクをエンド・ツー・エンドで1段階で学習することを示すこと。
• エージェントの一般化能力、知識の転移能力、およびタスクの深さと複雑さの増加に伴うスケーラビリティを評価すること。

提案手法

• エージェントは、共有パラメータを用いて複数の目的の価値関数を統合的に表現するため、ユニバーサル価値関数近似（UVFA）を用いる。
• 複数の並列エージェントからのロールアウトを格納するグローバル経験リプレイバッファを用いて、オフポリシー学習を実装する。
• 各エージェントは目的を一様にランダムにサンプリングし、目的に条件付けられたポリシーに従って行動することで、1つのトレーニングループ内でマルチタスク学習を可能にする。
• 勾配はUVFAを介してバックプロパゲートされ、各トレーニングステップ後に全エージェントが最新のグローバルネットワークパラメータに同期化される。
• 共有表現と共有経験のおかげで、関連するタスクではゼロショット転送と協調的学習が可能になる。
• スケーラビリティを考慮して設計されており、マルチタスク設定において線形スケーリングの挙動が観察された。

実験結果

リサーチクエスチョン

• RQ1 単一エージェントアーキテクチャは、明示的なカリキュラムやタスク境界なしに、複数の相互に依存するタスクをエンド・ツー・エンドで学習できるか？
• RQ2 共有経験を用いたオフポリシーでマルチゴール学習は、深い依存関係を持つ階層的タスクのパフォーマンスをどのように向上させるか？
• RQ3 1つの共有表現を用いて、関連するタスクと関連のないタスクの両方に対して、普遍的ポリシーがどの程度一般化できるか？
• RQ4 提案されたアーキテクチャは、タスク数やタスクの深さの増加に伴い、効率的にスケーリングできるか？
• RQ5 報酬形状付けや明示的監視なしに、スパarsely報酬環境で自然なカリキュラムを活用できるか？

主な発見

• Unicornエージェントは、最良のベースライン（glutton）よりも顕著に高い最終パフォーマンスを達成し、4.75のチェスト報酬を獲得したのに対し、ベースラインは1.05にとどまった。これは、深い依存関係の処理能力に優れていることを示している。
• Unicornは、能力の段階的上昇を示し、特に難易度の高いサブタスク（例：チェスト）でベースラインとのパフォーマンス差が最大となった。これは、複雑な依存関係の有効な学習を示している。
• パフォーマンスはタスク数にほぼ線形にスケーリングされ、マルチタスク継続的学習設定における本手法のスケーラビリティが裏付けられた。
• テスト時において、すべての4つのサブタスク（キーボックス、ロック、ドア、チェスト）を正しい順序で達成し、9.93のキーボックス、6.99のロック、5.92のドア、4.75のチェスト報酬を獲得した。
• アブレーションスタディの結果、オフポリシー学習そのものが強力なパフォーマンスを達成するのに十分であり、バンディットベースのカリキュラム学習は一様サンプリングに比べて明確な性能向上を示さなかった。
• 4タスクのシーケンスにおいて、単一タスクのエキスパートベースラインを上回ったが、依存関係の深さが5タスクに増加した場合にはタスクを学習できなかった。これは、共有経験とマルチタスク学習の重要性を強調している。