[논문 리뷰] Autonomous Quadrotor Landing using Deep Reinforcement Learning

Riccardo Polvara, Massimiliano Patacchiola외 5명|arXiv (Cornell University)|2017. 09. 11.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 40

한 줄 요약

이 논문은 저해상도의 하향 방향 카메라 이미지만을 사용하여 자율적인 플랫폼 이착륙을 위한 딥 강화학습(DRL) 기반 방법을 제안한다. 히에라르키컬 DQN 아키텍처를 활용해 작업을 지형표지물 탐지와 수직 강하로 분할한다. 이 방법은 인간 조종사 수준의 성능을 달성하며, 최신의 AR 추적 시스템과 유사한 성능을 보이며, 도메인 랜덤라이제이션과 분할된 경험 재생을 통해 마커 손상에 대한 강건성과 실제 환경으로의 일반화 능력이 향상된다.

ABSTRACT

Landing an unmanned aerial vehicle (UAV) on a ground marker is an open problem despite the effort of the research community. Previous attempts mostly focused on the analysis of hand-crafted geometric features and the use of external sensors in order to allow the vehicle to approach the land-pad. In this article, we propose a method based on deep reinforcement learning that only requires low-resolution images taken from a down-looking camera in order to identify the position of the marker and land the UAV on it. The proposed approach is based on a hierarchy of Deep Q-Networks (DQNs) used as high-level control policy for the navigation toward the marker. We implemented different technical solutions, such as the combination of vanilla and double DQNs, and a partitioned buffer replay. Using domain randomization we trained the vehicle on uniform textures and we tested it on a large variety of simulated and real-world environments. The overall performance is comparable with a state-of-the-art algorithm and human pilots.

연구 동기 및 목표

• 외부 센서나 수작업으로 설계된 특징 없이 지상 마커에 자율적으로 UAV 이착륙을 수행하는 문제에 대응한다.
• 특정 마커나 복잡한 센서 설정에 의존하는 이전의 시각 기반 및 센서 융합 방법의 한계를 극복한다.
• 오직 시각 입력만을 사용하여 다양한 실제 및 시뮬레이션 환경 간에 일반화 가능한 학습 기반 시스템을 개발한다.
• 도메인 랜덤라이제이션과 새로운 학습 기법을 통해 마커 손상 및 환경 변동성에 대한 강건성을 향상시킨다.
• 엔드 투 엔드 DRL이 인간 조종사 및 AR 추적 시스템 수준의 높은 이착륙 성공률을 달성할 수 있음을 입증한다.

제안 방법

• 지형표지물 탐지와 수직 강하 제어를 위한 두 전용 DQN을 포함한 히에라르키컬 딥 Q-네트워크(DQN) 프레임워크를 사용한다.
• 학습 중 가치 함수 근사에서 과도한 추정 오차를 줄이기 위해 듀얼 DQN을 적용한다.
• 희귀하고 희박한 전이를 우선순위로 하는 분할된 버퍼 재생 메커니즘을 구현하여, 희박 보상 환경에서의 학습 효율성을 향상시킨다.
• 도메인 랜덤라이제이션을 학습 중에 적용하여 균일한 텍스처와 랜덤라이즈된 조명/막힘 조건을 사용함으로써 실제 환경으로의 일반화 능력을 향상시킨다.
• 두 DQN 간의 내부 트리거 메커니즘을 통합하여 탐지 단계에서 강하 단계로의 전환을 조율한다.
• 에이전트가 픽셀 관측에서 직접 고수준 제어 정책을 학습할 수 있도록, 희박한 밀도 보상과 함께 DQN을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 저해상도 하향 카메라 이미지만을 사용하여 지상 마커를 자율적으로 탐지하고 제어된 수직 이착륙을 수행할 수 있는가?
• RQ2 제안된 히에라르키컬 DQN 아키텍처는 샘플 효율성과 이착륙 성공률 측면에서 엔드 투 엔드 또는 단일 정책 접근 방식과 비교해 어떻게 성능을 내는가?
• RQ3 도메인 랜덤라이제이션은 DRL 정책이 훈련 중에 볼 수 없었던 실제 환경으로의 일반화 능력을 어느 정도 향상시킬 수 있는가?
• RQ4 분할된 버퍼 재생 메커니즘은 희박 보상 이착륙 작업에서 학습 안정성과 성능을 어떻게 향상시키는가?
• RQ5 DRL 기반 시스템은 마커 손상 및 환경 변동성에 대한 강건성 측면에서 전통적인 AR 태그 추적 및 인간 조종사보다 뛰어나게 성능을 내는가?

주요 결과

• DQN-multi 모델은 균일한 텍스처, 혼합 텍스처, 현실적인 시뮬레이션 환경에서 모두 87%의 성공률를 기록했으며, DQN-single(41%)를 뛰어넘고 인간 조종사 성능(91%)과 유사한 성능를 달성했다.
• 마커 손상 상황에서 DQN-multi 시스템은 51%의 성공률를 유지했으며, 템플릿 매칭 실패로 인해 AR 트래커가 0%로 떨어지는 것과 비교해 뚜렷한 우월성을 보였다.
• 실제 실내 환경(연구실, 복도, 메자닌)에서 시스템은 62%의 이착륙 성공률를 기록했으며, 대부분의 실패 원인은 극단적인 조명과 비행 이격이었고, 마커 식별 오류는 아니었다.
• DQN-multi 정책는 드론이 마커 위에 정확히 위치했을 때에만 강하를 우선시하는 방식으로 학습한 것으로 확인되었으며, 이는 표적 위치에서 행동가치 분포가 급격히 증가하는 것으로 나타났다.
• 시스템은 인간 조종사보다 빠르게 작동하여 이착륙에 평균 19단계가 소요되었고, 인간 조종사의 경우 이산 제어 조건에서 평균 23단계가 소요되었다.
• 기본 DQN은 탐지 및 강하 작업을 동시에 학습시키는 데 실패하여, 안정적인 학습을 가능하게 하기 위해 히에라르키컬 분해가 필수적임을 입증했다.