[논문 리뷰] Flight Controller Synthesis Via Deep Reinforcement Learning

William R. Koch|arXiv (Cornell University)|2019. 09. 14.

Reinforcement Learning in Robotics참고 문헌 67인용 수 15

한 줄 요약

이 논문은 자세 제어 및 정밀 에어로바틱 비행에서 전통적 제어 방법을 능가하는 신경비행 제어기를 합성하기 위한 딥 강화학습(DRL) 기반 프레임워크를 제안한다. 다중로터의 디지털 트윈을 시뮬레이트하기 위한 GymFC와, 상용 마이크로컨트롤러에 훈련된 신경망을 배포할 수 있는 오픈소스 펌웨어인 Neuroflight을 도입하여, 엔드 투 엔드 훈련-배포 파이프라인을 통해 안정적인 실세계 비행을 달성한다.

ABSTRACT

Traditional control methods are inadequate in many deployment settings involving control of Cyber-Physical Systems (CPS). In such settings, CPS controllers must operate and respond to unpredictable interactions, conditions, or failure modes. Dealing with such unpredictability requires the use of executive and cognitive control functions that allow for planning and reasoning. Motivated by the sport of drone racing, this dissertation addresses these concerns for state-of-the-art flight control by investigating the use of deep neural networks to bring essential elements of higher-level cognition for constructing low level flight controllers. This thesis reports on the development and release of an open source, full solution stack for building neuro-flight controllers. This stack consists of the methodology for constructing a multicopter digital twin for synthesize the flight controller unique to a specific aircraft, a tuning framework for implementing training environments (GymFC), and a firmware for the world's first neural network supported flight controller (Neuroflight). GymFC's novel approach fuses together the digital twinning paradigm for flight control training to provide seamless transfer to hardware. Additionally, this thesis examines alternative reward system functions as well as changes to the software environment to bridge the gap between the simulation and real world deployment environments. Work summarized in this thesis demonstrates that reinforcement learning is able to be leveraged for training neural network controllers capable, not only of maintaining stable flight, but also precision aerobatic maneuvers in real world settings. As such, this work provides a foundation for developing the next generation of flight control systems.

연구 동기 및 목표

• 자율 비행에서 예측 불가능한 동역학과 고장 모드를 다루는 데 있어 전통적 제어 방법의 한계를 해결한다.
• 강화학습을 활용한 딥 네ural 네트워크 기반 비행 제어기의 훈련 및 배포를 위한 확장성 있고 엔드 투 엔드 솔루션을 개발한다.
• 고정밀 디지털 트윈과 최적화된 컴파일 툴체인을 통해 시뮬레이션에서 실제 하드웨어로의 원활한 전이를 가능하게 한다.
• 연구자 및 개발자가 신경비행 제어기 개발에 접근할 수 있도록 오픈소스 스택(GymFC 및 Neuroflight)을 제공한다.
• 보상 함수를 정교화하고 풍속, 모터 비선형성 등의 환경 동역학을 반영하여 시뮬레이션과 실제 세계 간 격차를 줄인다.

제안 방법

• 정확한 하드웨어 전이를 위해 디지털 트윈 모델링과 비행 제어 훈련을 융합한 모듈러한 강화학습 프레임워크인 GymFC를 사용해 시뮬레이션 환경을 설계한다.
• 추력, 토크, 중력, 풍속과 같은 외부 교란을 포함한 다중로터의 디지털 트윈을 구현하여 시뮬레이션의 현실성 향상.
• 자세 안정성과 정밀 조작을 강조하는 맞춤형 보상 함수를 사용해 딥 강화학습(DRL)을 통해 딥 네ural 네트워크를 훈련한다.
• Neuroflight 펌웨어를 통해 자원 제약이 있는 마이크로컨트롤러에 배포하기 위해, 훈련된 신경망을 최적화된 AOT 컴파일 코드로 변환한다.
• 하드웨어 인 더 루프(HITL) 검증을 위해 컴파일된 모델을 상용 비행 컨트롤러에 플래시하고 실세계 비행에서 테스트한다.
• ReLU 활성화 함수와 같은 아키텍처 개선 및 베타 함수와 같은 경계가 있는 분포를 탐색하여 안정성 향상과 추론 지연 감소.

실험 결과

연구 질문

• RQ1 딥 강화학습은 자세 제어 및 에어로바틱 정밀도에서 기존 PID 기반 제어기보다 뛰어난 성능을 보이는 신경망 기반 제어기를 생성할 수 있는가?
• RQ2 디지털 트윈은 실제로 존재하는 동역학—특히 모터 비선형성과 환경적 교란—을 얼마나 정확하게 모델링할 수 있으며, 이는 신뢰할 수 있는 시뮬레이션에서 실제 세계로의 전이를 가능하게 하는가?
• RQ3 시뮬레이션, 훈련, 컴파일, 펌웨어를 포함한 전체 스택의 오픈소스 솔루션을 어떻게 설계하여 상용 하드웨어에 신경비행 제어기를 엔드 투 엔드로 배포할 수 있는가?
• RQ4 시뮬레이션과 실제 세계 간 도메인 격차를 최소화하기 위해 가장 효과적인 보상 함수 설계 및 환경 모델링 전략은 무엇인가?
• RQ5 메모리와 계산 자원이 제한된 마이크로컨트롤러에 복잡한 신경망을 효율적으로 배포하기 위해 필요한 아키텍처 및 컴파일 최적화는 무엇인가?

주요 결과

• 딥 강화학습을 통해 훈련된 신경망 기반 제어기는 시뮬레이션과 실세계 비행 모두에서 상용 PID 기반 비행 제어기보다 더 높은 정확도를 보였다.
• GymFC 프레임워크는 시뮬레이션에서 실제 하드웨어로의 정책 전이를 성공적으로 구현하여, 상용 큐드코pter에서 안정적인 비행 성능을 입증했다.
• Neuroflight 펌웨어와 관련 툴체인은 마이크로컨트롤러에 훈련된 신경망의 AOT 컴파일 추론을 가능하게 하여, 낮은 지연 시간으로 실시간 실행을 달성했다.
• 모터 비선형성, 풍속 영향, 배터리 방전 특성을 모델링함으로써 시뮬레이션의 정밀도가 크게 향상되어, 시뮬레이션과 실제 배포 간 성능 격차가 감소했다.
• 보상 함수 설계—특히 정밀 조작 목표를 통합하는 것—은 복잡한 에어로바틱 조작을 수행할 수 있는 제어기를 훈련시키는 데 핵심적인 역할을 했다.
• 향후 연구 과제로는 온라인 인크리멘탈 학습과 동적 디지털 트윈 동기화가 실세계 배포에서 지속적인 적응력과 장기적 강건성 확보에 필수적임을 밝혔다.