[논문 리뷰] End-to-End Motion Planning of Quadrotors Using Deep Reinforcement Learning

Efe Camci, Erdal Kayacan|arXiv (Cornell University)|2019. 09. 30.

Robotic Path Planning Algorithms참고 문헌 19인용 수 12

한 줄 요약

이 논문은 깊이 있는 강화 학습을 사용하여 큐드로터의 엔드 투 엔드 운동 계획 시스템을 제안하며, 원시 깊이 영상과 상대 위치를 직접 운동 프리미티브로 매핑하여 혼잡한 환경에서 안전하고 목표 향한 주행을 달성한다. 시뮬레이션에서는 88%의 목표 도달 정확도를 보이며, 장애물이 없는 실제 비행에서는 100%의 성공률를 기록하여 직접적인 인지-행동 학습이 자율 큐드로터 비행에 가능하다는 것을 입증한다.

ABSTRACT

In this work, a novel, end-to-end motion planning method is proposed for quadrotor navigation in cluttered environments. The proposed method circumvents the explicit sensing-reconstructing-planning in contrast to conventional navigation algorithms. It uses raw depth images obtained from a front-facing camera and directly generates local motion plans in the form of smooth motion primitives that move a quadrotor to a goal by avoiding obstacles. Promising training and testing results are presented in both AirSim simulations and real flights with DJI F330 Quadrotor equipped with Intel RealSense D435. The proposed system in action can be found in https://youtu.be/pYvKhc8wrTM.

연구 동기 및 목표

• 감지, 재구성, 계획 모듈 간의 불일치와 오류 전파 문제를 겪는 모듈러한 파이프라인 기반의 항법 시스템의 한계를 해결하기 위해.
• 명시적인 장애물 재구성 과정을 생략하고 감지 입력을 직접 제어 동작으로 매핑하는 통합형 엔드 투 엔드 운동 계획 시스템을 개발하기 위해.
• 앞면 카메라에서 얻은 원시 깊이 영상만을 사용하여 부분적으로 알려진 혼잡한 환경에서 안전하고 효율적인 항법을 가능하게 하기 위해.
• DJI F330 큐드로터에 Intel RealSense D435를 장착하여, 고정밀 AirSim 시뮬레이션과 실제 비행 환경에서 방법을 검증하기 위해.

제안 방법

• 상태는 32×32 원시 깊이 영상과 3×1 상대 위치 벡터로 구성되며, 이에 대해 약 75,000개의 파라미터를 가진 딥 Q 네트워크(DQN)를 사용하여 행동으로 매핑한다.
• 행동는 세그먼트가 삼차 베지에 곡선으로 정의된 운동 프리미티브이며, 앞면 카메라의 시야 제한으로 인해 전방 이동을 유도하기 위해 총 18개의 사전 정의된 프리미티브가 설계되었다.
• 행동-가치 함수는 딥 네트워크를 사용하여 근사함으로써 고차원 상태-행동 공간에서의 일반화를 가능하게 한다.
• 보상 함수는 목표 경로에의 근접을 장려하고, 5m를 초과한 이탈에 대해 벌점을 부과하며, 충돌에는 심각한 벌점을 적용하며, 진전(Δd)과 목표까지의 거리(dt)에 기반한 중간 보상도 포함한다.
• 학습 안정성을 확보하기 위해 경험 재생과 타겟 네트워크를 사용하여 DQN을 학습하며, 하이퍼파라미터는 시도 오류를 통해 튜닝되었다.
• PX4 펌웨어와 RealSense D435 깊이 센서를 탑재한 DJI F330 큐드로터를 사용하여 AirSim 시뮬레이션과 실제 비행 환경에서 시스템을 평가하였다.

실험 결과

연구 질문

• RQ1 엔드 투 엔드 딥 강화 학습 에이전트는 원시 깊이 영상과 목표 상대 위치만을 사용하여 알 수 없는 혼잡한 환경에서 큐드로터를 항법할 수 있는가?
• RQ2 시뮬레이션과 실제 비행 간 성능 비교에서 성공률, 안전성, 항법 효율성 측면에서 엔드 투 엔드 RL 기반 계획기의 성능은 어떻게 되는가?
• RQ3 재학습 없이도 이전에 본 적 없는 환경으로의 일반화 능력은 어느 정도인가?
• RQ4 노이즈가 많은 실제 깊이 관측치와 완벽하지 않은 제어 실행은 에이전트의 안전하고 목표 향한 항법 능력에 어떤 영향을 미치는가?
• RQ5 부분적으로 알려진 환경에서 장애물 회피와 효율적인 경로 추종을 효과적으로 학습시키기 위한 보상 형상 전략은 무엇인가?

주요 결과

• AirSim 시뮬레이션에서, 에이전트는 25번의 안전 비행 중 88%의 성공률로 목표에 도달하였으며, 86%의 시도에서 충돌 없이 진행되었다.
• 장애물이 없는 실제 비행에서는 다섯 번의 시도 중 100%의 목표 도달률을 기록하였으며, 평균 항법 시간은 20초, 평균 거리는 3.50m였다.
• 두 개의 큰 직사각형 장애물이 있는 실제 비행에서는 80%의 안전 비행률을 기록하였으며, 두 번째 시도에서 한 번의 추락만 발생하였고, 세 번째 시도에서는 초기 경로를 따라 최대 1.55m까지 이동하였다.
• 에이전트는 장애물이 많은 환경에서 보수적인 행동을 보였으며, 첫 번째 장애물을 피한 후 종종 열린 영역에서 멈추거나 정지하는 모습을 보여, 신중한 의사결정을 하는 것으로 나타났다.
• 이 방법은 재학습 없이도 새로운 환경으로의 일반화가 잘 되었으며, RealSense D435의 노이즈가 많은 깊이 데이터와 실제 제어 실행의 불완전함에도 불구하고 뛰어난 내구성을 보였다.
• 보상 함수 설계가 목표 향한 진전과 장애물 회피 사이의 균형을 효과적으로 확보하였으며, 이는 시뮬레이션과 실제 비행 테스트 모두에서 높은 성공률와 안전성으로 입증되었다.