[論文レビュー] Combining Benefits from Trajectory Optimization and Deep Reinforcement Learning

Guillaume Bellegarda, Katie Byl|arXiv (Cornell University)|Oct 21, 2019

Reinforcement Learning in Robotics参考文献 25被引用数 5

ひとこと要約

本論文では、ロボット制御におけるサンプル効率とポリシーのロバスト性を向上させるために、深層強化学習（DRL）と軌道最適化（TO）を組み合わせたハイブリッド手法CoTO-PPOを提案する。各タイムステップで、エージェントはシミュレーション上で即時の報酬が最大になる方の行動——DRLポリシーまたはTOから選択し、最悪ケース性能の境界を保証するとともに収束を加速させつつ、安全を維持する。

ABSTRACT

Recent breakthroughs both in reinforcement learning and trajectory optimization have made significant advances towards real world robotic system deployment. Reinforcement learning (RL) can be applied to many problems without needing any modeling or intuition about the system, at the cost of high sample complexity and the inability to prove any metrics about the learned policies. Trajectory optimization (TO) on the other hand allows for stability and robustness analyses on generated motions and trajectories, but is only as good as the often over-simplified derived model, and may have prohibitively expensive computation times for real-time control. This paper seeks to combine the benefits from these two areas while mitigating their drawbacks by (1) decreasing RL sample complexity by using existing knowledge of the problem with optimal control, and (2) providing an upper bound estimate on the time-to-arrival of the combined learned-optimized policy, allowing online policy deployment at any point in the training process by using the TO as a worst-case scenario action. This method is evaluated for a car model, with applicability to any mobile robotic system. A video showing policy execution comparisons can be found at https://youtu.be/mv2xw83NyWU .

研究の動機と目的

• 現実世界のロボット制御における純粋な深層強化学習（DRL）の高いサンプル複雑性とロバスト性の欠如を解消する。
• モデルの不正確さへの感受性や高い計算コストといった軌道最適化（TO）の限界を、DRLと統合することで軽減する。
• DRLネットワークがランダムに初期化された状態でも、いつでも安全に保証された最悪ケース行動を提供することで、ポリシーのオンライン展開を可能にする。
• 探索段階でTOを保守的なベースラインとして用いることで、劣悪な領域に費やす時間を減らし、ポリシー学習の効率を向上させる。
• TOを用いて到着までの時間の上界推定値を提供することで、トレーニングおよび展開段階でのパフォーマンス保証を実現する。

提案手法

• 各環境ステップで、エージェントはDRLポリシー・ネットワークと軌道最適化器（TO）の両方から行動を計算する。
• エージェントは、両方の行動の実行をシミュレーテッド環境でシミュレートし、即時の報酬を推定する。
• より高いシミュレート報酬を達成する行動が、実世界での実行に選択され、TO性能を下回ることを防ぐ。
• DRLポリシーは、ハイブリッド行動選択プロセスから収集した経験、特にTO行動からの教師あり更新を含めて、PPOを用いて訓練される。
• 部分的ホライゾン（1ステップ）での報酬比較を用いることで、劣悪なTO軌道に過剰適合するのを防ぎ、探索効率を維持する。
• TOフレームワークは、多様体制約を備えた直接コロケーション法であるDIRCONに基づくもので、高精度なノーマル軌道生成を可能にする。

実験結果

リサーチクエスチョン

• RQ1 軌道最適化と深層強化学習を組み合わせることで、サンプル複雑性を低減しながらも、ロボット制御における安全保証を維持できるか？
• RQ2 DRLトレーニング中にTOを最悪ケース行動として用いることで、純粋なDRLと比較してポリシーの収束性とパフォーマンスが向上するか？
• RQ3 ハイブリッド手法は、DRLネットワークがランダムに初期化された状態でも、いつでもポリシーをオンライン展開可能か？
• RQ4 行動比較のシミュレーションホライズンの選択が、ポリシーのパフォーマンスと探索効率にどのように影響するか？
• RQ5 TOを統合することで、純粋なDRLでスクラッチからトレーニングする場合と比較して、最終的なDRLポリシーの質がどの程度向上するか？

主な発見

• 100万ステップのトレーニング後、CoTO-PPOは純粋なPPOと比較して平均累積報酬で顕著に優れており、確率的および決定的評価の両方で明確な改善が見られた。
• 75％以上のケースで、CoTO-PPOで学習されたポリシーがTO行動よりも選択されたことから、初期のTOベースラインを上回る明確な学習進捗とポリシー改善が示された。
• 劣悪な純粋なPPOポリシーと組み合わせても、CoTOフレームワークは平均報酬を向上させたことから、TOが価値ある保守的ベースラインとして機能することが示された。
• 特に初期トレーニング段階で、DRLポリシーの初期化が不十分な場合のランダム探索に依存するのを減らすことで、より高いサンプル効率を達成した。
• 1ステップホライズンでの行動選択が、より長いホライズンよりも優れたパフォーマンスをもたらした。これは、長いホライズンではDRLポリシーが期待報酬がゼロに近づく傾向に起因する回帰に支配され、TOに劣ることが原因である。
• ハイブリッド手法により、TOソリューションを用いて到着までの時間の上界を明示的に保証できるため、ポリシーが完全に収束していない段階でも安全に展開可能である。