[論文レビュー] Lyapunov Design for Robust and Efficient Robotic Reinforcement Learning

Tyler Westenbroek, Fernando Castañeda+3 more|arXiv (Cornell University)|Aug 13, 2022

Reinforcement Learning in Robotics被引用数 6

ひとこと要約

本論文は、制御リャプノフ関数（CLF）を強化学習（RL）の目的関数に統合することで、ロボット工学分野におけるデータ効率的で頑健な安定化制御則の学習を可能にする、リャプノフに基づくコスト形状化手法を提案する。標準のコスト関数にCLF駆動の項を追加することにより、最適でないポリシーに対してもシステムが安定化されることを保証し、RLアルゴリズムが桁違いに少ないデータで安定化制御則に収束できる。実世界の微調整データをそれぞれ数秒と数分程度使用したカートポールとA1四足歩行ロボットで実証された。

ABSTRACT

Recent advances in the reinforcement learning (RL) literature have enabled roboticists to automatically train complex policies in simulated environments. However, due to the poor sample complexity of these methods, solving RL problems using real-world data remains a challenging problem. This paper introduces a novel cost-shaping method which aims to reduce the number of samples needed to learn a stabilizing controller. The method adds a term involving a Control Lyapunov Function (CLF) -- an `energy-like' function from the model-based control literature -- to typical cost formulations. Theoretical results demonstrate the new costs lead to stabilizing controllers when smaller discount factors are used, which is well-known to reduce sample complexity. Moreover, the addition of the CLF term `robustifies' the search for a stabilizing controller by ensuring that even highly sub-optimal polices will stabilize the system. We demonstrate our approach with two hardware examples where we learn stabilizing controllers for a cartpole and an A1 quadruped with only seconds and a few minutes of fine-tuning data, respectively. Furthermore, simulation benchmark studies show that obtaining stabilizing policies by optimizing our proposed costs requires orders of magnitude less data compared to standard cost designs.

研究の動機と目的

• 実世界のロボット制御における強化学習の低いサンプル複雑性を改善すること。特に、複雑なシステムの安定化を目的とする。
• 学習の目的関数にシステム構造を組み込むことで、安定化制御則を学習するために必要な実世界データの数を減らすこと。
• CLFの監視によって、最適でないポリシーですらシステムを安定化させることで、RLポリシー探索の頑健性を向上させること。
• 小さな実世界データ量でシミュレーション由来の制御則を効率的に微調整できること。
• 学習または近似されたCLFを用いて、不確実で現実世界のシステムへのCLFベースの制御設計の適用範囲を拡張すること。

提案手法

• 制御リャプノフ関数（CLF）に基づく項を追加した修正されたコスト関数を導入し、CLF値を時間とともに減少させるポリシーを奨励する。
• 真のCLFが不明な場合でも、簡略化されたまたは学習された動的モデルから得られる近似CLFを用いてRL最適化をガイドする。
• ソフトアクタクリティクス（SAC）アルゴリズムを用い、再定義された報酬を適用する：$ r_k = -[W(F(x_k,u_k)) - W(x_k)] - \|x_k\|_2^2 - 0.1\|u_k\|_2^2 $、ここで$ W $は近似CLFである。
• 実世界の微調整用に、事前に訓練されたシミュレーションベースのRLポリシーの価値関数を近似CLFとして活用する。
• 理論的分析により、CLF項のおかげで小さな$ \gamma $が安定化に有効であることが示されているため、RLで小さな割引率（$ \gamma $）を用いて学習を加速する。
• ハイパーパramータースイープを実施し、安定化ポリシーを生成する最小の$ \gamma $を特定することで、データ効率性を確保する。

実験結果

リサーチクエスチョン

• RQ1 CLFに基づくコスト形状化技術は、安定化制御則を学習するために必要な実世界データのサンプル数を顕著に削減できるか？
• RQ2 RLの目的関数にCLF項を組み込むことで、ポリシー探索の頑健性が向上し、極めて劣化したポリシーですらシステムを安定化させられるか？
• RQ3 シミュレーションベースのRLポリシーの価値関数は、実ハードウェアでの微調整に適した近似CLFとして機能できるか？
• RQ4 近似CLFの品質が、RLアルゴリズムのデータ効率性および収束速度にどのように影響するか？
• RQ5 CLFの監視がある場合、従来のRLの慣習とは対照的に、小さな割引率（$ \gamma $）を安定化に効果的に使用できるか？

主な発見

• 提案手法は、10秒間の実世界データのみでQuanserのカートポール用に安定化制御則を学習し、シミュレーションで120万ステップを要するベースラインと同等の性能を達成した。
• Unitree A1四足歩行ロボットでは、簡略化された線形化モデルから手作業で設計したCLFを用い、わずか5分間の実世界データで安定化制御則を学習した。
• 逆パンドラム実験では、入力制約が厳しい場合（$|u| \leq 4$）に、CLF補正コストのおかげで安定化に必要な訓練イテレーション数が389回から198回に減少し、48％の削減を達成した。
• 入力制約が緩い場合（$|u| \leq 20$）には、提案手法が5イテレーションで安定化を達成した一方で、ベースラインは92イテレーションを要し、必要なサンプル数を94.6％削減した。
• 安定化ポリシーを生成した最小の割引率が、同時に最も学習が速かったことから、CLF監視がある場合、小さな$ \gamma $が有効であることが確認された。
• 近似CLFが真のグローバルCLFでない場合でも、この手法は依然として安定化を保証したため、モデルの不正確さに対して頑健であることが示された。