[論文レビュー] VisFly-Lab: Unified Differentiable Framework for First-Order Reinforcement Learning of Quadrotor Control

Fanxing Li, Fangyu Sun+6 more|arXiv (Cornell University)|Mar 22, 2026

Reinforcement Learning in Robotics被引用数 0

ひとこと要約

要旨: 本論文は多タスク四旋翼ロボット制御のための統一された巻きつけ可能な微分可能フレームワークを提案し、 horizon sampling と一階RLの勾配バイアスに対処する Amended Backpropagation Through Time (ABPT)を導入します。ABPTはホバリング、追従、着陸、レースの性能を向上させ、実環境への移行性の概念実証を示します。

ABSTRACT

First-order reinforcement learning with differentiable simulation is promising for quadrotor control, but practical progress remains fragmented across task-specific settings. To support more systematic development and evaluation, we present a unified differentiable framework for multi-task quadrotor control. The framework is wrapped, extensible, and equipped with deployment-oriented dynamics, providing a common interface across four representative tasks: hovering, tracking, landing, and racing. We also present the suite of first-order learning algorithms, where we identify two practical bottlenecks of standard first-order training: limited state coverage caused by horizon initialization and gradient bias caused by partially non-differentiable rewards. To address these issues, we propose Amended Backpropagation Through Time (ABPT), which combines differentiable rollout optimization, a value-based auxiliary objective, and visited-state initialization to improve training robustness. Experimental results show that ABPT yields the clearest gains in tasks with partially non-differentiable rewards, while remaining competitive in fully differentiable settings. We further provide proof-of-concept real-world deployments showing initial transferability of policies learned in the proposed framework beyond simulation.

研究の動機と目的

• 四つのタスク（ホバリング、追従、着陸、レース）を跨ぐ共通インターフェースを持つ、統一的で拡張可能な微分可能フレームワークを提供する。
• このフレームワーク内で一階RL手法を開発・評価し、微分可能な学習の実践的ボトルネックに対処する。
• horizon sampling の制限と非微分可能報酬から生じる勾配バイアスを軽減する Amended Backpropagation Through Time (ABPT) を提案する。
• ABPT がベースラインより empirically に性能向上を示し、シミュレータから実機への初期的な移行性を示す。

提案手法

• 展開志向の四つのタスク（ホバリング、追従、着陸、レース）のための微分可能なシミュレーションをラップし拡張する。
• 第一階梯勾配訓練を BPTT、SHAC、PPOのベースラインとABPTをオンポリシーのアクタークリティック法として定式化する。
• 部分的に非微分可能報酬から生じる勾配バイアスを低減しロバスト性を高める0ステップとNステップリターンを組み合わせた ABPT を導入する。
• 訪問済み状態リプレイバッファを用いて以前に見た状態から horizon を初期化し状態空間のカバー率を改善する。
• CTBR制御、アクチュエータダイナミクス、PyTorchで構築された微分可能な物理エンジンを備えた高忠実度の6-DoF四旋翼モデルを採用する。
• 4つのタスクで評価し、サンプル効率と最終パフォーマンスの両方でベースラインと比較する。

実験結果

リサーチクエスチョン

• RQ1 展開志向のダイナミクスを持つ統一的な微分可能フレームワークは複数の四旋翼制御タスクをサポートできるか？
• RQ2 ホバリング、追従、着陸、レースを跨いで学習する際、第一階RL手法は統一インターフェースから利得を得られるか？
• RQ3 ABPT は horizon による状態カバーの制約と非微分可能報酬からくる勾配バイアスを軽減できるか？
• RQ4 ABPT と PPO、BPTT、SHAC を比較した場合のパフォーマンスとロバストネスの向上はどの程度か？
• RQ5 フレームワーク内で学習したポリシーの実機への初期移行性はあるか？

主な発見

• ABPT は部分的に非微分可能な報酬を含むタスク（例: 着陸とレース）で最も顕著な改善を示す。
• 統一ベンチマーク全般で ABPT は競合的で、最初の三つのタスクではベースラインより収束が速いことが多い。
• PPO は解析的勾配が無いためサンプル効率の点で安定性は高いが遅い。
• BPTT は非微分可能報酬設定、特にレースで勾配バイアスとサンプリング非効率に悩まされる。
• SHAC はクリティックの分散が大きく、非微分可能な成分の影響で ABPT よりも一部のタスクで性能が劣る。
• フレームワーク内で学習したポリシーの実機移行性を示す概念実証的デプロイを提供。