[論文レビュー] Improving Policy Optimization with Generalist-Specialist Learning

Zhiwei Jia, Xuanlin Li+4 more|arXiv (Cornell University)|Jun 26, 2022

Reinforcement Learning in Robotics被引用数 5

ひとこと要約

本稿では、一般化エージェントを全環境変種で事前学習した後、性能が低いサブセットに対して特化型エージェントを起動し、高品質なデモンストレーションを生成するというメタアルゴリズムであるGeneralist-Specialist Learning (GSL)を提案する。これらのデモンストレーションは補助的報酬として用いられ、一般化エージェントの微調整に利用され、Procgen、Meta-World、ManiSkillといった困難なベンチマークで、性能の停滞を克服し、著しく高い報酬を達成する。

ABSTRACT

Generalization in deep reinforcement learning over unseen environment variations usually requires policy learning over a large set of diverse training variations. We empirically observe that an agent trained on many variations (a generalist) tends to learn faster at the beginning, yet its performance plateaus at a less optimal level for a long time. In contrast, an agent trained only on a few variations (a specialist) can often achieve high returns under a limited computational budget. To have the best of both worlds, we propose a novel generalist-specialist training framework. Specifically, we first train a generalist on all environment variations; when it fails to improve, we launch a large population of specialists with weights cloned from the generalist, each trained to master a selected small subset of variations. We finally resume the training of the generalist with auxiliary rewards induced by demonstrations of all specialists. In particular, we investigate the timing to start specialist training and compare strategies to learn generalists with assistance from specialists. We show that this framework pushes the envelope of policy learning on several challenging and popular benchmarks including Procgen, Meta-World and ManiSkill.

研究の動機と目的

• 多数の多様な環境変種で学習する際の強化学習における方策最適化の停滞という課題に対処すること。
• 高分散環境で学習する際のニューラルネットワークにおける壊滅的忘却と壊滅的無知の回避。
• 一般化型と専門家型エージェントの長所を活用すること：一般化型による高速な初期学習と、専門家型による特定サブセットにおける高いパフォーマンス。
• 既存の強化学習アルゴリズムのアーキテクチャ変更なしに、スケーラブルで効率的なフレームワークを構築し、複雑なベンチマークにおけるサンプル効率と最終パフォーマンスを向上させること。

提案手法

• 標準的な強化学習アルゴリズム（例：PPO）を用いて、全環境変種で一般化方策を学習させ、初期段階の高速な学習を可能にする。
• 訓練報酬の傾向に基づいたシンプルで適応的な停滞検出基準（$\mathcal{H}$）を用いて、一般化方策におけるパフォーマンスの停滞を特定する。
• 一般化方策の重みから初期化された、多数の専門家エージェントを起動し、最も性能が低い環境変種の小さなターゲットサブセットで訓練する。
• 全専門家エージェントのデモンストレーションを補助的報酬として用い、一般化方策の微調整を行い、高パフォーマンスの行動を模倣することで方策を改善する。
• 専門家エージェントのデモンストレーションを一般化方策に統合する手法を慎重に選択する——DAPGはBCよりも一貫性のない専門家デモンストレーションをより効果的に処理できるため、性能が優れている。
• 既存の強化学習および模倣学習パイプラインに、ベースとなる強化学習アルゴリズムを変更せずに適用可能なメタアルゴリズムとしてフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 全環境変種で一般化方策を学習した後、特定の専門家訓練を実施することで、単独で一般化方策を学習する場合と比較して、最終的な方策パフォーマンスが向上するか。
• RQ2 専門家訓練の開始タイミングが、一般化方策の全体的な効率性および最終パフォーマンスに与える影響は何か。
• RQ3 異なる方法（例：BC対 DAPG）で専門家デモンストレーションを統合する場合、一般化方策の一般化能力と高い報酬達成への影響は何か。
• RQ4 本フレームワークは、多様な環境で学習する際のニューラルネットワーク方策における壊滅的忘却と壊滅的無知を効果的に緩和するか。
• RQ5 本フレームワークは、アーキテクチャの変更なしに、Procgen、ManiSkill、Meta-Worldといった多様なベンチマークに効果的に適用可能か。

主な発見

• DAPGを統合手法として用いたGSLフレームワークは、BigFish（Procgen）でテスト報酬30.0 ± 0.5を達成し、単一のPPO一般化方策（24.3 ± 1.1）や他のベースラインを著しく上回った。
• GSLで専門家デモンストレーションを行動変革（BC）で統合した場合、パフォーマンスが低下した。これは、BCでは一貫性のない専門家デモンストレーションが有害であることを示している。
• 専門家訓練の開始タイミングに対するフレームワークのロバスト性は高く、最適点から5%早くまたは遅く開始しても、パフォーマンスにほとんど差がなかった。
• 一般化方策のパフォーマンスが最も低かった25%の環境変種に対して専門家訓練を実施した場合、最も効果的な改善が得られ、戦略の有効性が裏付けられた。
• 1,000の新規BigFishレベルからなるホールドアウトセットにおいて、GSL+DAPGは優れた一般化性能を維持した。これは、本手法がゼロショットおよび分布外一般化を向上させることを示している。
• Procgen、Meta-World、ManiSkillといった複数のベンチマークで、本フレームワークは最先端のパフォーマンスを達成し、広範な適用可能性と有効性を示した。