[논문 리뷰] VisFly-Lab: Unified Differentiable Framework for First-Order Reinforcement Learning of Quadrotor Control

Fanxing Li, Fangyu Sun외 6명|arXiv (Cornell University)|2026. 03. 22.

Reinforcement Learning in Robotics인용 수 0

한 줄 요약

본 논문은 다중 작업 쿼드로터 제어를 위한 통합된 래핑된 differentiable 프레임워크를 제시하고, horizon 샘플링과 일차 RL의 기울기 편향을 다루기 위해 Amended Backpropagation Through Time (ABPT)을 도입한다. ABPT가 호버링, 트래킹, 랜딩, 레이싱 전반에서 성능을 향상시키고, 실제 세계로의 시범적 전이를 보인다.

ABSTRACT

First-order reinforcement learning with differentiable simulation is promising for quadrotor control, but practical progress remains fragmented across task-specific settings. To support more systematic development and evaluation, we present a unified differentiable framework for multi-task quadrotor control. The framework is wrapped, extensible, and equipped with deployment-oriented dynamics, providing a common interface across four representative tasks: hovering, tracking, landing, and racing. We also present the suite of first-order learning algorithms, where we identify two practical bottlenecks of standard first-order training: limited state coverage caused by horizon initialization and gradient bias caused by partially non-differentiable rewards. To address these issues, we propose Amended Backpropagation Through Time (ABPT), which combines differentiable rollout optimization, a value-based auxiliary objective, and visited-state initialization to improve training robustness. Experimental results show that ABPT yields the clearest gains in tasks with partially non-differentiable rewards, while remaining competitive in fully differentiable settings. We further provide proof-of-concept real-world deployments showing initial transferability of policies learned in the proposed framework beyond simulation.

연구 동기 및 목표

• 네 가지 작업(호버링, 트래킹, 랜딩, 레이싱) 간에 공통 인터페이스를 갖춘 다중 작업 쿼드로터 제어를 위한 통합적이고 확장 가능한 differentiable 프레임워크를 제공한다.
• 이 프레임워크 내에서 일차 RL 방법을 개발하고 평가하며, differentiable 학습의 실용적 제약을 해결한다.
• horizon 샘플링 한계와 비미분 가능 보상으로 인한 기울기 편향을 완화하기 위해 Amended Backpropagation Through Time (ABPT)을 제안한다.
• 기저선 대비 ABPT의 실증적 성능 향상을 보여주고, 시뮬레이션에서 실제로의 초기 전이 가능성을 제시한다.

제안 방법

• 배치 지향적 쿼드로터 다이내믹스를 위한 differentiable 시뮬레이션을 네 가지 작업(호버링, 트래킹, 랜딩, 레이싱)에 맞게 래핑하고 확장한다.
• BPTT, SHAC, PPO 베이스라인과 ABPT를 온-정책 actor-critic 방법으로 활용한 일차 기울기 학습을 형식화한다.
• 0-step 및 N-step 수익을 결합한 ABPT를 도입하여 부분적으로 비미분 가능 보상으로 인한 기울기 편향을 줄이고 견고성을 향상시킨다.
• 이전에 본 상태에서 수평선을 초기화하기 위해 방문 상태 재생 버퍼를 사용하여 상태 공간 커버리지를 개선한다.
• CTBR 제어, 구동기 다이내믹스 및 PyTorch로 구축된 differentiable 물리 엔진을 갖춘 고충실도 6-DoF 쿼드로터 모델을 도입한다.
• 네 가지 작업에서 평가하고 샘플 효율성과 최종 성능 측면에서 베이스라인과 비교한다.

실험 결과

연구 질문

• RQ1 배치 지향적 다이나믹스를 갖춘 통합 differentiable 프레임워크가 여러 쿼드로터 제어 작업을 지원할 수 있는가?
• RQ2 일차 RL 방법이 호버링, 트래킹, 랜딩, 레이싱 전반에 걸쳐 학습될 때 통합 인터페이스로 이점을 얻는가?
• RQ3 Horizon으로 인한 상태 커버리지 한계와 비미분 가능 보상으로 인한 기울기 편향을 ABPT가 완화할 수 있는가?
• RQ4 다음 작업들에 걸쳐 ABPT vs PPO, BPTT, SHAC의 비교 성능 및 로버스트니스 향상은 무엇인가?
• RQ5 프레임워크에서 학습된 정책의 초기 실세계 배포 시도는 초기 이전 가능성을 보여주는가?

주요 결과

• ABPT는 부분적으로 비미분 가능 보상이 있는 작업(예: 랜딩 및 레이싱)에서 가장 뚜렷한 이득을 만들어낸다.
• ABPT는 통합 벤치마크에서 경쟁력이 있으며 첫 세 가지 작업에서 기초선보다 빠르게 수렴하는 경향이 있다.
• PPO는 해석적 기울기 부족으로 샘플 효율성 측면에서 느리지만 안정적으로 작동한다.
• BPTT는 비미분 가능 보상 설정에서 기울기 편향과 샘플링 비효율성에 시달리며, 특히 레이싱에서 그렇다.
• SHAC는 크리틱의 분산이 크고 비미분 구성요소로 인해 일부 작업에서 ABPT보다 성능이 떨어진다.
• 프레임워크에서 학습된 정책의 초기 실세계 배포 시도는 초기 이전 가능성을 보여준다.