[논문 리뷰] Learning to Seek: Autonomous Source Seeking with Deep Reinforcement Learning Onboard a Nano Drone Microcontroller

Bardienus P. Duisterhof, Srivatsan Krishnan외 6명|arXiv (Cornell University)|2019. 09. 25.

Malaria Research and Control참고 문헌 29인용 수 20

한 줄 요약

이 논문은 저전력 Cortex-M4 마이크로컨트롤러만을 사용하여 나노 큐브코pter에서 실시간으로 작동하는 경량이며 종단 간(end-to-end) 딥 강화학습(DRL) 정책을 제안한다. 자원 인지 관찰 공간과 초소형 신경망을 설계함으로써, 복잡한 실제 환경에서 94%의 성공률을 달성하였으며, 이는 이전의 학습 기반 방법 대비 70% 높은 효율성과 3배 낮은 전력 소비를 기록하였다.

ABSTRACT

We present fully autonomous source seeking onboard a highly constrained nano quadcopter, by contributing application-specific system and observation feature design to enable inference of a deep-RL policy onboard a nano quadcopter. Our deep-RL algorithm finds a high-performance solution to a challenging problem, even in presence of high noise levels and generalizes across real and simulation environments with different obstacle configurations. We verify our approach with simulation and in-field testing on a Bitcraze CrazyFlie using only the cheap and ubiquitous Cortex-M4 microcontroller unit. The results show that by end-to-end application-specific system design, our contribution consumes almost three times less additional power, as compared to competing learning-based navigation approach onboard a nano quadcopter. Thanks to our observation space, which we carefully design within the resource constraints, our solution achieves a 94% success rate in cluttered and randomized test environments, as compared to the previously achieved 80%. We also compare our strategy to a simple finite state machine (FSM), geared towards efficient exploration, and demonstrate that our policy is more robust and resilient at obstacle avoidance as well as up to 70% more efficient in source seeking. To this end, we contribute a cheap and lightweight end-to-end tiny robot learning (tinyRL) solution, running onboard a nano quadcopter, that proves to be robust and efficient in a challenging task using limited sensory input.

연구 동기 및 목표

• 극도로 제한된 하드웨어 환경을 가진 나노 큐브코pter에서 완전 자율적이고 실시간 소스 탐색을 가능하게 하기 위해.
• 기존 나노 드론의 학습 기반 내비게이션 시스템에 비해 전력 소비와 계산 오버헤드를 줄이기 위해.
• 최소한의 감지 입력과 사전 환경 지식 없이도 작동하는 경량이며 일반화 가능한 DRL 정책을 설계하기 위해.
• 단일 조도 센서만을 사용하여 GPS 장애 및 동적 환경에서도 강건한 장애물 회피와 효율적인 소스 탐색을 수행하기 위해.
• 세부 조정 없이도 시뮬레이션에서 실제 비행 테스트로의 제로샷 시뮬레이션-현장 전이 성공률을 높게 확보하기 위해.

제안 방법

• 응용 분야에 특화된 관찰 기능을 포함한 맞춤형 POMDP 설정: 정규화된 조도 기울기와 필터링된 조도 강도.
• Cortex-M4 마이크로컨트롤러에서 100Hz로 실행되도록 최적화된 초소형 딥 신경망(두 개의 은닉층 포함).
• 노이즈 감소 및 기울기 추정 향상을 위해 원시 조도 센서 읽기 값에 저역통과 필터 적용.
• 정규화된 특징(s₁: 기울기, s₂: 필터링된 강도)을 정책 입력으로 사용하여 센서 노이즈 및 자세 변화에 대한 강건성 향상.
• 장애물 배치와 소스 위치를 무작위로 설정한 시뮬레이션 환경(Air Learning)에서 DRL 정책 훈련.
• 세부 조정 없이도 시뮬레이션에서 실제 환경으로의 전이를 가능하게 하여, 환경 특화 재학습 없이도 작동.

실험 결과

연구 질문

• RQ1 Cortex-M4 마이크로컨트롤러와 최소한의 센서만을 사용한 나노 큐브코프터에 딥 강화학습 정책을 효율적으로 구현할 수 있는가?
• RQ2 유한 상태 기계(FSM) 대비 DRL 기반 소스 탐색기의 장애물 회피 능력과 소스 탐색 효율성은 어떻게 비교되는가?
• RQ3 학습 시뮬레이션 외의 새로운 실제 환경으로의 일반화 능력은 어느 정도인가?
• RQ4 기존의 학습 기반 내비게이션 시스템 대비 나노 드론에 DRL 정책을 구현할 경우 전력 및 에너지 오버헤드는 얼마나 되는가?
• RQ5 특화된 관찰 공간 설계가 고노이즈 및 제한된 감지 입력 조건에서도 강건한 소스 탐색을 가능하게 하는 데 얼마나 효과적인가?

주요 결과

• 제안된 DRL 정책은 복잡하고 무작위로 장애물이 배치된 실제 비행 테스트에서 94%의 성공률을 기록하였으며, 이는 이전 최고 성능(시뮬레이션에서 80%, 복잡한 환경에서 30%)을 크게 초월하였다.
• 유한 상태 기계 기반 기준 대비 소스 탐색 효율성이 70% 높았으며, 저, 중, 고 장애물 밀도 환경에서 각각 70%, 55%, 66%의 임무 시간 단축을 기록하였다.
• 정책은 강건한 장애물 회피 기능을 보였으며, 어두운 영역에 갇히거나 루프 경로에 갇히는 일 없이 안정적으로 작동하였다. 반면 FSM 기준은 변동성이 높고 가끔 갇히는 경향을 보였다.
• 추가 전력 소비는 단지 0.71W에 불과했으며, 기존의 경쟁 학습 기반 내비게이션 시스템 대비 3배 낮은 추가 전력 소비를 기록하였다.
• 센서와 MCU 추가에도 불구하고, 비행 지속시간은 7:06.3에서 6:30.8로 35.5초만 감소하여, 에너지 오버헤드가 극히 미미함을 확인하였다.
• 정규화된 조도 기울기와 저역통과 필터링된 강도를 사용한 관찰 공간 설계가 고노이즈 및 동적 비행 조건에서도 신뢰할 수 있는 기울기 추적을 가능하게 하여 핵심 요소로 입증되었다.