[論文レビュー] Divide-and-Conquer Reinforcement Learning

Dibya Ghosh, Avi Singh+3 more|arXiv (Cornell University)|Nov 27, 2017

Reinforcement Learning in Robotics参考文献 15被引用数 13

ひとこと要約

この論文は、初期状態空間を明確なスライスに分割し、各スライスに対して個別の方策を学習し、KLダイバージェンス制約と distillation を用いて段階的に統合することで、1つのグローバル方策を構築する Divide-and-Conquer Reinforcement Learning (DnC) を提案する。DnC は、初期状態やゴールのばらつきが大きい複雑なロボット操作および歩行タスクにおいて、標準的な方策勾配法やアンサンブルベースの手法を著しく上回る性能を発揮する。

ABSTRACT

Standard model-free deep reinforcement learning (RL) algorithms sample a new initial state for each trial, allowing them to optimize policies that can perform well even in highly stochastic environments. However, problems that exhibit considerable initial state variation typically produce high-variance gradient estimates for model-free RL, making direct policy or value function optimization challenging. In this paper, we develop a novel algorithm that instead partitions the initial state space into "slices", and optimizes an ensemble of policies, each on a different slice. The ensemble is gradually unified into a single policy that can succeed on the whole state space. This approach, which we term divide-and-conquer RL, is able to solve complex tasks where conventional deep RL methods are ineffective. Our results show that divide-and-conquer RL greatly outperforms conventional policy gradient methods on challenging grasping, manipulation, and locomotion tasks, and exceeds the performance of a variety of prior methods. Videos of policies learned by our algorithm can be viewed at http://bit.ly/dnc-rl

研究の動機と目的

• 初期状態およびゴールの分布が非常に確率的であることに起因する深層強化学習における高い分散勾配推定の問題に対処すること。
• 初期状態の多様性が原因で標準的な方策勾配法が失敗する、特に操作および歩行タスクのような複雑なロボットタスクにおける有効な学習を可能にすること。
• 状態空間の異なるスライスに特化した方策を学習し、それらを1つの堅牢なグローバル方策に統合する手法を開発すること。
• 豊かなダイナミクスと高いばらつきを示す環境における、サンプルの複雑さを低減し、学習の安定性を向上させること。
• 示範データやハイレベルな行動空間に依存することなく、低レベルのトルク制御空間で直接学習を実行することによって、その依存を排除すること。

提案手法

• アルゴリズムは、状態分布の特性に基づいて初期状態空間を複数の重複のない「スライス」に分割する。
• 各スライスに対して標準的なディープ強化学習を用いて個別の方策を学習し、各局所領域内での勾配推定の分散を低減する。
• 相互KLダイバージェンス制約を用いて、スライス間での方策の一貫性を促進することで、方策を段階的に1つのグローバル方策に統合する。
• 知識の転送と収束の加速（特に学習が遅い方策に対して）を目的として、方策間で教師付き distillation を適用する。
• 最終的なグローバル方策は、すべてのスライスにわたって一般化できるように訓練され、全状態空間にわたり一貫性のある行動を実現する。
• 統合された学習中にスライス間で方策パラメータを共有する中央集権的学習・分散的推論の設定で動作する。

実験結果

リサーチクエスチョン

• RQ1 初期状態空間を離散的なスライスに分割することで、高い分散を持つ強化学習タスクにおける学習の安定性とサンプル効率が向上するか？
• RQ2 全分布に対してエンドツーエンドで学習するのと比較して、局所的な状態空間領域で個別に方策を学習することは、最終的な性能および収束速度にどのように影響するか？
• RQ3 相互KL制約と distillation を用いることで、複数の特化型方策を1つの汎用方策に効果的に統合できるか？
• RQ4 DnC は、初期状態およびゴールのばらつきが大きいタスクにおいて、標準的な方策勾配法や先行のアンサンブルベースの手法を上回るか？
• RQ5 DnC は、示範データやハイレベルな行動抽象化に依存せずに、低レベルのトルク制御空間で効果的な方策を学習できるか？

主な発見

• DnC は、評価されたすべてのタスクにおいて最高の最終平均報酬を達成し、TRPO や SAC などのベースライン手法を上回った。
• Ant Position の歩行タスクでは、DnC は TRPO が4億サンプルを要したのに対し、約1/10のサンプル量でタスクを解決した。
• Stairs の歩行タスクでは、DnC は短い階段ではストライド歩行、高い階段ではジャンプ歩行を学習し、全高さ範囲で一貫したパフォーマンスを維持した。
• DnC が学習した方策は、ベースラインと比較してより頑健で一般化性に優れており、短い階段で失敗するような壊れやすい歩行（例：飛び跳ね歩行）を回避した。
• 中央集権的 DnC のバリエーションがすべてのタスクで最高のパフォーマンスを発揮した。これは、方策間の制約を伴う統合学習の有効性を示している。
• 掴みやキャッチといった操作タスクにおいても、DnC は特にばらつきの大きい状況下で、先行手法を著しく上回る性能を発揮した。