[論文レビュー] Using Soft Actor-Critic for Low-Level UAV Control

Gabriel Moraes Barros, Esther Luna Colombini|arXiv (Cornell University)|Oct 5, 2020

Reinforcement Learning in Robotics参考文献 21被引用数 4

ひとこと要約

本論文では、シミュレートされたクアッドローターの目的地到達タスクにおける低レベル制御に、ソフトアクタクリティカル（SAC）アルゴリズムを用いることを提案している。SACは、ドローンの力学的特性に関する事前知識がなくても、サンプル効率的で頑健な方策学習を可能にし、極端な初期条件下でも100％の成功を達成し、PPO や模倣学習（GAIL）といったオンポリシー手法よりも頑健性に優れている。

ABSTRACT

Unmanned Aerial Vehicles (UAVs), or drones, have recently been used in several civil application domains from organ delivery to remote locations to wireless network coverage. These platforms, however, are naturally unstable systems for which many different control approaches have been proposed. Generally based on classic and modern control, these algorithms require knowledge of the robot's dynamics. However, recently, model-free reinforcement learning has been successfully used for controlling drones without any prior knowledge of the robot model. In this work, we present a framework to train the Soft Actor-Critic (SAC) algorithm to low-level control of a quadrotor in a go-to-target task. All experiments were conducted under simulation. With the experiments, we show that SAC can not only learn a robust policy, but it can also cope with unseen scenarios. Videos from the simulations are available in https://www.youtube.com/watch?v=9z8vGs0Ri5g and the code in https://github.com/larocs/SAC_uav.

研究の動機と目的

• ソフトアクタクリティカル（SAC）を用いた、低レベルクアッドローター制御のモデルフリー強化学習フレームワークの構築。
• SACが、ドローンの力学的特性に関する事前知識なしに、未知のシナリオにおける頑健な方策を学習できるかの評価。
• SACの性能とサンプル効率性を、PPO や模倣学習（GAIL）といったオンポリシー手法と比較する。
• シミュレーション上での極端な初期姿勢条件下における学習済み方策の頑健性の評価。
• SACが、異なる目標速度を示す動的ターゲット追従タスクにおいて、UAVを効果的に制御できるかの検証。

提案手法

• 著者らは、クアッドローターの力学的挙動を高精度にシミュレートするため、CoppeliaSim（旧V-REP）を用いたカスタム強化学習フレームワークにSACを実装した。
• 状態空間には位置、速度、姿勢が含まれ、行動空間はローター回転数を制御して推力とトルクを発生させる。
• 到達目標を促進し、ずれ具合とエネルギー消費を最小限に抑えるために、密度・スパarsity・形状付きの報酬関数を設計した。
• SACアルゴリズムは、確率的方策を用いたオフポリシーで最大エントロピー強化学習のアプローチを採用しており、探索性と頑健性の向上に寄与している。
• 方策は100万ステップの学習で訓練され、従来の研究が数十億や800万ステップを要するのに対し、著しくサンプル複雑性が低減された。
• 頑健性は、高ロール・ピッチ角を含む極端な初期姿勢分布を用いた216エピソードで評価された。

実験結果

リサーチクエスチョン

• RQ1 SACは、システムの力学的特性に関する事前知識なしに、目的地到達タスクにおけるクアッドローターの頑健な低レベル制御方策を学習できるか？
• RQ2 SACのサンプル効率性は、UAV制御における従来のモデルフリー深層強化学習手法（PPO や DDPG）と比較してどの程度優れているか？
• RQ3 SACで学習された方策は、未観測の初期条件や動的ターゲット軌道にどの程度一般化できるか？
• RQ4 SACの最大エントロピー探索戦略は、PPO や模倣学習（GAIL）といったオンポリシー手法と比較して、どのように頑健性を向上させるか？
• RQ5 SACは、異なる目標速度を持つ動的ターゲット追従タスクにおいて、UAVを効果的に制御できるか？

主な発見

• SACは216件の極端な初期条件テストにおいて100％の成功率を達成し、中央値報酬は886.13、平均報酬は886.81であった。
• 方策は、正弦波や方形波の軌道を示す移動ターゲットを、最小限の定常誤差で効果的に追従した。
• 同じ極端な初期条件下で、PPO（93.98％の成功率）やGAIL（54.1％の成功率）に比べ、SACは顕著に優れた頑健性を示した。
• 収束には約100万ステップで十分であり、従来の研究が数十億や800万ステップを要するのに対し、著しくサンプル複雑性が低減された。
• 高速移動ターゲットのシナリオでは、最短経路駆動戦略のため、減衰応答を示したが、転倒を伴わず安定飛行を維持した。
• 結果から、SACの最大エントロピー探索戦略が、不安定で高次元な制御タスクにおいて、より効果的で頑健な方策学習を可能にすることが確認された。