[논문 리뷰] Learning Deep Control Policies for Autonomous Aerial Vehicles with MPC-Guided Policy Search

Tianhao Zhang, Gregory Kahn외 2명|arXiv (Cornell University)|2015. 09. 22.

Advanced Control Systems Optimization참고 문헌 41인용 수 19

한 줄 요약

이 논문은 자율 항공기용 깊이 신경망 정책을 훈련하기 위해 MPC 유도 정책 탐색을 제안한다. 모델 예측 제어(MPC)를 사용해 훈련 중에는 전체 상태 관측을 기반으로 안전하고 고품질의 데이터를 생성하고, 최종 정책는 현장 센서 입력만으로 작동한다. 이 방법은 훈련 중에 치명적인 실패 없이 견고하고 고속의 장애물 회피를 가능하게 하며, MPC보다 훨씬 낮은 계산 비용으로 실시간 추론을 달성한다.

ABSTRACT

Model predictive control (MPC) is an effective method for controlling robotic systems, particularly autonomous aerial vehicles such as quadcopters. However, application of MPC can be computationally demanding, and typically requires estimating the state of the system, which can be challenging in complex, unstructured environments. Reinforcement learning can in principle forego the need for explicit state estimation and acquire a policy that directly maps sensor readings to actions, but is difficult to apply to unstable systems that are liable to fail catastrophically during training before an effective policy has been found. We propose to combine MPC with reinforcement learning in the framework of guided policy search, where MPC is used to generate data at training time, under full state observations provided by an instrumented training environment. This data is used to train a deep neural network policy, which is allowed to access only the raw observations from the vehicle's onboard sensors. After training, the neural network policy can successfully control the robot without knowledge of the full state, and at a fraction of the computational cost of MPC. We evaluate our method by learning obstacle avoidance policies for a simulated quadrotor, using simulated onboard sensors and no explicit state estimation at test time.

연구 동기 및 목표

• 탐색 과정에서 치명적인 실패 위험이 있는 불안정한 항공기용 강화학습 정책을 훈련하는 데 도전한다.
• 전통적인 강화학습의 한계를 극복하기 위해 훈련 중에 안전하고 고품질의 감독자로 MPC를 사용한다.
• 최종 정책가 현장 센서 입력(예: IMU, 레이저 레인지 파인더)만으로 작동하도록 하여 테스트 시 상태 추정을 생략한다.
• 테스트 시 계산 비용이 높은 MPC를 대체하는 경량화되고 미분 가능한 신경망 정책을 훈련시켜 실시간 추론을 달성한다.
• 재훈련 없이도 무구조적이고 미리 보지 못한 환경(예: 무작위 숲, 굽이키는 복도)으로 정책의 일반화를 입증한다.

제안 방법

• 훈련 중에 보조 비용 함수를 사용한 온라인 모델 예측 제어(MPC)를 통해 전체 상태 관측(예: 모션 캡처 시스템)을 기반으로 최적의 동작을 생성한다.
• 현재 신경망 정책을 MPC 비용 함수에 통합하여 행동 일致성을 유도함으로써, 정책이 실제로 실행할 수 있는 행동을 학습하도록 한다.
• MPC가 생성한 동작을 타깃으로 하여, 입력을 현장 센서 읽기만으로 제한한 채로 지도학습을 통해 깊이 신경망 정책을 훈련시킨다.
• 훈련(외부, 전체 상태)과 추론(내장형, 센서 전용)을 분리함으로써, 실패 위험 없이 안전하고 고정밀한 정책 학습이 가능해진다.
• 가이드드 정책 탐색을 활용해 강화학습을 지도학습 문제로 전환함으로써 샘플 효율성과 수렴 안정성을 향상시킨다.
• 도메인 랜덤라이제이션과 모델 편향(예: 질량 편향, 로터 편향, 매개변수 불확실성)을 적용해 훈련 중 정책의 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 MPC 유도 정책 탐색은 치명적인 실패 없이 불안정한 항공기용 깊이 신경망 정책을 안전하게 훈련시킬 수 있는가?
• RQ2 MPC가 생성한 동작을 기반으로 훈련된 정책가 현장 센서 입력만으로도 복잡하고 무구조적인 환경으로 일반화될 수 있는가?
• RQ3 현재 정책을 MPC 비용 함수에 통합함으로써 신경망 학습을 위한 데이터 품질과 일관성이 향상되는가?
• RQ4 모델 불확실성 하에서 표준 강화학습 및 기준 가이드드 정책 탐색과 비교했을 때, 제안된 방법의 강건성과 일반화 능력은 어떠한가?
• RQ5 테스트 시 MPC에 비해 최종 신경망 정책가 얼마나 실시간 성능과 낮은 계산 비용을 달성할 수 있는가?

주요 결과

• MPC 유도 정책 탐색 방법은 모델 오차가 심한 상황에서도 훈련 중 치명적인 실패 없이 큼직터의 장애물 회피 정책을 성공적으로 훈련시켰다.
• 모델 불확실성(예: 8% 로터 편향, 3.3% 질량 오차, 매개변수 정밀도 감소)이 존재하는 상황에서, 이 방법은 무한한 숲과 굽이키는 복도 테스트 시나리오에서 두 기준보다 뛰어난 성능을 보였다.
• 최종 신경망 정책는 무한한 숲에서 평균 100초 이상, 굽이키는 복도에서 80초 이상의 비행 시간을 기록하여, 미리 보지 못한 환경으로의 강력한 일반화 능력을 입증했다.
• 무작위 실린더 배치와 랜덤화된 전환(매 5m마다 최대 30도)이 있는 환경에서도 정책가 효과적으로 일반화되었으며, 공간적 변동성에 대한 강건성을 보였다.
• 최종 정책는 계산적으로 효율적이며 내장형 배치에 적합했으며, MPC에 비해 계산 비용의 일부분으로서 높은 성능을 유지했다.
• 장비가 갖춰진 훈련 환경을 통해 전체 상태 피드백을 기반으로 안전하고 고품질의 데이터 수집이 가능했고, 최종 정책는 상태 추정이 필요 없이 작동하여 실세계 적용에 실용적이었다.