[논문 리뷰] PyFlyt -- UAV Simulation Environments for Reinforcement Learning Research

Jun Jet Tai, Jim Wong외 4명|arXiv (Cornell University)|2023. 04. 03.

Reinforcement Learning in Robotics인용 수 6

한 줄 요약

PyFlyt는 빌트 물리 엔진 기반으로 구축된 모듈식이고 오픈소스인 UAV 시뮬레이션 플랫폼이며, 네이티브 Gymnasium API 지원을 통해 다양한 UAV 유형의 유연한 구성과 강화학습(RL) 알고리즘의 표준화된 벤치마킹을 가능하게 한다. 이 플랫폼은 큐드로터 및 고정익 UAV 환경에서 조밀한 보상과 희박한 보상 설정 모두에서 RL 에이전트의 성공적인 훈련을 보여주며, UAV RL 연구를 위한 재현 가능하고 확장 가능한 프레임워크를 구축한다.

ABSTRACT

Unmanned aerial vehicles (UAVs) have numerous applications, but their efficient and optimal flight can be a challenge. Reinforcement Learning (RL) has emerged as a promising approach to address this challenge, yet there is no standardized library for testing and benchmarking RL algorithms on UAVs. In this paper, we introduce PyFlyt, a platform built on the Bullet physics engine with native Gymnasium API support. PyFlyt provides modular implementations of simple components, such as motors and lifting surfaces, allowing for the implementation of UAVs of arbitrary configurations. Additionally, PyFlyt includes various task definitions and multiple reward function settings for each vehicle type. We demonstrate the effectiveness of PyFlyt by training various RL agents for two UAV models: quadrotor and fixed-wing. Our findings highlight the effectiveness of RL in UAV control and planning, and further show that it is possible to train agents in sparse reward settings for UAVs. PyFlyt fills a gap in existing literature by providing a flexible and standardised platform for testing RL algorithms on UAVs. We believe that this will inspire more standardised research in this direction.

연구 동기 및 목표

• UAV에서 강화학습(RL) 알고리즘을 벤치마킹하기 위한 표준화되고 확장 가능한 시뮬레이션 환경의 부족을 해결하기 위해.
• 모터, 양력 표면, 고정장치 등의 구성 요소를 사용해 임의의 구성의 UAV를 설계할 수 있는 유연하고 모듈식 프레임워크를 제공하기 위해.
• 조밀한 보상 함수와 희박한 보상 함수를 모두 지원하는 Gymnasium 호환 환경를 통해 표준화되고 재현 가능한 RL 훈련을 가능하게 하기 위해.
• 쿼드로터, 고정익, 로켓, 향후 퀀드플레인 및 헥사코프터와 같은 다양한 UAV 유형을 지원하기 위해.
• 랜덤 시드 초기화, CI 테스트, PyPI 패키징 및 포괄적인 문서화를 통해 사용성 향상과 보급을 촉진하기 위해.

제안 방법

• PyFlyt는 충돌, 제어 루프 주기, 다중 UAV 환경 등을 포함한 현실적인 UAV 동역학을 시뮬레이션하기 위해 빌트 물리 엔진을 사용한다.
• 모터, 양력 표면, 고정장치, 카메라 등의 모듈식 구성 요소를 구현하여 임의의 구성의 UAV를 조합할 수 있도록 한다.
• 사전 구축된 UAV 모델(예: QuadX, Fixedwing, Rocket)과 해당 모델에 대응하는 Gymnasium 호환 환경을 제공하여 RL 훈련을 가능하게 한다.
• 보상 함수는 거리 기반 페널티, 목표 근처의 속도 기반 보상, 성공 또는 실패에 대한 종료 보상 등 여러 구성 요소로 정의된다.
• CCGE 및 AWAC와 같은 알고리즘을 사용해 조밀한 보상으로 사전 훈련된 정책에서 시작하여 보상이 희박한 환경에서의 훈련을 가능하게 하기 위해 부트스트랩 기법을 적용한다.
• 랜덤 시드 초기화를 통한 결정론적 시뮬레이션을 지원하며, 재현 가능성과 배포를 위해 지속적 통합(CI) 및 PyPI 패키징을 통합한다.

Figure 1: The PyFlyt simulator, showing some prebuilt \acp UAV - one Rocket, one Fixedwing, one generic QuadX, and a cluster of three Crazyflie QuadXs.

실험 결과

연구 질문

• RQ1 모듈식이고 물리 기반의 UAV 시뮬레이션 플랫폼은 다양한 UAV 구성에서 RL 알고리즘의 표준화된 벤치마킹을 가능하게 하는가?
• RQ2 로켓 착륙이나 웨이포인트 항법과 같은 복잡한 UAV 작업을 위한 희박한 보상 환경에서 RL 에이전트가 얼마나 성공적으로 훈련될 수 있는가?
• RQ3 최신의 비정책 기반 RL 알고리즘(SAC, CCGE, AWAC 등)은 통합되고 확장 가능한 시뮬레이션 프레임워크 내에서 UAV 제어 정책 훈련에 얼마나 효과적인가?
• RQ4 플랫폼은 로켓과 고정익 항공기와 같은 비표준 구성의 다양한 UAV 유형을 일관되고 현실적인 동역학으로 지원할 수 있는가?
• RQ5 Gymnasium API 및 CI/PyPI 워크플로우의 통합은 UAV RL 연구에서 재현 가능성과 보급을 어떻게 향상시키는가?

주요 결과

• PyFlyt는 PyFlyt/QuadX-Waypoints-v0 및 PyFlyt/Fixedwing-Waypoints-v0 환경에서 SAC 에이전트를 조밀한 보상으로 성공적으로 훈련시켰으며, 여러 랜덤 시드에서 안정적인 학습 곡선을 보였다.
• CCGE 및 AWAC를 사용해 사전 훈련된 SAC 정책에서 시작하는 부트스트랩 기법을 통해 희박한 보상 환경에서도 에이전트의 성공적인 훈련을 가능하게 하였으며, 낮은 감독 수준 상황에서도 유의미한 성능을 입증하였다.
• Rocket-Landing-v0 환경은 총 연료의 1%만 소모하여 매우 도전적인 환경이었지만, 에이전트는 낮은 속도와 정밀한 착륙 위치를 확보하며 안전한 착륙을 달성하였다.
• Rocket-Landing-v0 환경의 보상 함수는 거리 페널티, 속도 기반 보상, 종료 성공/실패 보상의 조합으로 구성되어 있어 에이전트가 안전한 착륙을 향해 유도하는 데 효과적이었다.
• 모든 환경의 학습 곡선은 부트스트랩된 신뢰구간을 포함한 일관된 사분위수 평균을 보였으며, 이는 신뢰할 수 있고 재현 가능한 훈련 결과를 의미한다.
• 플랫폼의 모듈식 설계와 PettingZoo 기반의 다중 에이전트 RL 지원이 계획되어 있으며, 추가로 드라이덴 난류 및 다운와시 모델링과 같은 추가적인 항공역학 기능이 개발 중이다.

Figure 2: Top level overview of the PyFlyt architecture, showing the composition of classes that make up core \ac UAV flight engine and how it integrates into a Gymnasium environment. Coloured boxes describe a class definition, while white boxes describe various functionality of the classes.