[논문 리뷰] Flying through a narrow gap using neural network: an end-to-end planning and control approach

Jiarong Lin, Luqi Wang외 3명|arXiv (Cornell University)|2019. 03. 21.

Robotic Path Planning Algorithms인용 수 7

한 줄 요약

이 논문은 좁고 기울어진 틈을 통과하는 큐브로터를 위한 센서 입력을 직접 추진력-자세 제어 명령어로 매핑하는 엔드 투 엔드 딥 강화학습 프레임워크를 제안한다. 먼저 전통적인 운동 계획 파이프라인을 모방한 후 강화학습을 통해 미세조정함으로써, 모델 기반 접근 방식과 유사한 성능을 달성하면서도 추진력 소비는 낮추고 내성적 안정성을 향상시켰다.

ABSTRACT

In this paper, we investigate the problem of enabling a drone to fly through a tilted narrow gap, without a traditional planning and control pipeline. To this end, we propose an end-to-end policy network, which imitates from the traditional pipeline and is fine-tuned using reinforcement learning. Unlike previous works which plan dynamical feasible trajectories using motion primitives and track the generated trajectory by a geometric controller, our proposed method is an end-to-end approach which takes the flight scenario as input and directly outputs thrust-attitude control commands for the quadrotor. Key contributions of our paper are: 1) presenting an imitate-reinforce training framework. 2) flying through a narrow gap using an end-to-end policy network, showing that learning based method can also address the highly dynamic control problem as the traditional pipeline does (see attached video: https://www.youtube.com/watch?v=jU1qRcLdjx0). 3) propose a robust imitation of an optimal trajectory generator using multilayer perceptrons. 4) show how reinforcement learning can improve the performance of imitation learning, and the potential to achieve higher performance over the model-based method.

연구 동기 및 목표

• 기존의 계획-제어 파이프라인에 의존하지 않고 좁고 기울어진 틈을 통과하는 공격적인 드론 비행을 가능하게 하기 위해.
• 고역동적 상황에서 모델 기반 방법의 성능을 따라하거나 능가할 수 있는 엔드 투 엔드 학습 기반 제어가 가능한지 조사하기 위해.
• 일반화 능력과 제어 효율성을 향상시키는 내성적 이머시브-강화학습 프레임워크를 개발하기 위해.
• 신경망 정책이 복잡하고 역동적인 환경에서 안정적이고 정밀한 비행을 달성할 수 있음을 입증하기 위해.

제안 방법

• 운동 프리미티브를 사용해 역학적으로 타당한 궤적을 생성하는 전통적인 운동 계획자를 모방하기 위해 엔드 투 엔드 정책 네트워크를 이머시브 학습으로 훈련시킨다.
• 네트워크는 환경 상태와 목표 자세를 입력으로 받아 큐브로터의 실시간 추진력 및 자세 제어 명령어를 출력한다.
• 이머시브 훈련 중에 데이터 정규화 및 증강을 적용하여 일반화 능력과 수렴 속도를 향상시킨다.
• 밀도 높은 희귀 보상 기반으로 Trust Region Policy Optimization (TRPO) 알고리즘을 사용해 정책을 개선하기 위해 강화학습 미세조정 단계를 수행한다.
• 프레임워크는 20,000개의 랜덤 궤적을 포함한 시뮬레이션 환경에서 훈련되었으며, 별도의 100개 궤적 테스트 세트에서 검증되었다.
• 전체 시스템은 실시간으로 작동하며, Jetson TX2 플랫폼에서 계획에 대해 3–5 ms, 엔드 투 엔드 네트워크에 대해 6–7 ms의 추론 지연을 기록한다.

실험 결과

연구 질문

• RQ1 공격적인 틈 통과 작업에서 기존의 모델 기반 계획 및 제어 파이프라인과 비교해 유사하거나 더 뛰어난 성능을 내는 엔드 투 엔드 신경망 정책이 가능할 수 있는가?
• RQ2 복잡한 비행 상황에서 다층퍼셉트론을 사용해 최적의 궤적 생성기를 모방하는 이머시브 학습의 효과는 어떠한가?
• RQ3 강화학습 미세조정이 모의 정책의 내성적 안정성과 효율성에 얼마나 기여하는가?
• RQ4 이머시브-강화 프레임워크는 제어 효율을 높이거나 추진력 소비를 줄이면서도 비행 정확도를 유지하거나 향상시키는가?

주요 결과

• GTX 1080 Ti에서 며칠에 걸쳐 훈련한 결과, 이머시브 학습 단계에서 테스트 손실은 0.99, 훈련 손실은 0.67를 기록하여 기준 궤적을 강력하게 모방한 것으로 나타났다.
• 엔드 투 엔드 정책는 최대 3 m/s의 속도와 최대 60°의 기울기에서 좁은 틈을 통과하는 데 성공하여 고역동적 환경에서의 가능성과 타당성을 입증했다.
• 강화학습 미세조정 단계에서 평균 각속도 변동성이 감소하여 이머시브 오차로 인한 진동 현상이 완화되었다.
• RL로 미세조정된 정책는 모든 방법 중 평균 추진력 소비가 가장 낮아져 에너지 효율성 향상과 더 부드러운 제어를 의미한다.
• 데이터 정규화 및 증강의 조합은 가장 빠른 수렴 속도와 가장 낮은 테스트 손실을 기록하여 일반화에 있어 핵심 요소임을 입증했다.
• 엔드 투 엔드 방법은 추진력 효율성과 내성적 안정성 측면에서 기존의 모델 기반 파이프라인을 능가했으며, 이는 복잡한 환경에서 더 높은 성능 가능성을 시사한다.