[논문 리뷰] Learning to Navigate Autonomously in Outdoor Environments : MAVNet

Saumya Kumaar Saksena, Arpit Sangotra외 4명|arXiv (Cornell University)|2018. 09. 02.

Robotics and Sensor-Based Localization참고 문헌 17인용 수 6

한 줄 요약

MAVNet는 도시 환경에서 도로를 자율적으로 추적할 수 있도록 39층의 인셉션-v3 기반 모델을 사용한 엔드 투 엔드, 암시 학습 기반의 항공기 비행 경로 추적 시스템을 제안한다. 전문 조종사가 조종한 드론 영상으로 훈련된 이 시스템은 최대 시속 6m에서 98.44%의 정확도를 기록하며, 실시간 추론 속도가 33FPS로 구동되어 훈련되지 않은 도로에서 최대 357m의 연속 자율 비행을 가능하게 한다.

ABSTRACT

In the modern era of automation and robotics, autonomous vehicles are currently the focus of academic and industrial research. With the ever increasing number of unmanned aerial vehicles getting involved in activities in the civilian and commercial domain, there is an increased need for autonomy in these systems too. Due to guidelines set by the governments regarding the operation ceiling of civil drones, road-tracking based navigation is garnering interest . In an attempt to achieve the above mentioned tasks, we propose an imitation learning based, data-driven solution to UAV autonomy for navigating through city streets by learning to fly by imitating an expert pilot. Derived from the classic image classification algorithms, our classifier has been constructed in the form of a fast 39-layered Inception model, that evaluates the presence of roads using the tomographic reconstructions of the input frames. Based on the Inception-v3 architecture, our system performs better in terms of processing complexity and accuracy than many existing models for imitation learning. The data used for training the system has been captured from the drone, by flying it in and around urban and semi-urban streets, by experts having at least 6-8 years of flying experience. Permissions were taken from required authorities who made sure that minimal risk (to pedestrians) is involved in the data collection process. With the extensive amount of drone data that we collected, we have been able to navigate successfully through roads without crashing or overshooting, with an accuracy of 98.44%. The computational efficiency of MAVNet enables the drone to fly at high speeds of upto 6m/sec. We present the same results in this research and compare them with other state-of-the-art methods of vision and learning based navigation.

연구 동기 및 목표

• 소형 무인 항공기(드론)가 도시 및 준도시 환경에서 자율적으로 도로를 따라 비행할 수 있도록 하는 것.
• 신호 차단 및 정확도 저하로 인해 밀집된 도시 지역에서 GPS 기반 항법의 한계를 해결하는 것.
• 전문 조종사의 비행 스타일을 암시 학습을 통해 모방하는 계산 효율성이 높고 실시간으로 작동하는 항법 시스템을 개발하는 것.
• 라이더 또는 스테레오 카메라와 같은 고비용 센서에 의존하는 것을 줄이고 단일 카메라 시각과 토모그래픽 재구성을 사용하는 것.
• GPS나 특수 센서에 의존하지 않고도 고속(최대 6 m/s)이고 안정적인 항법(충돌이나 과도한 전진 방지)을 유지하는 것.

제안 방법

• 모노클러얼 카메라 입력을 제어 명령으로 매핑하기 위해 인셉션-v3 아키텍처를 기반으로 한 맞춤형 39층 컨볼루션 신경망인 MAVNet을 훈련시켰다.
• 영상 프레임(100×100 픽셀)의 토모그래픽 재구성을 입력으로 사용하여 도로의 가시성을 향상시키고 노이즈를 감소시켰다.
• 전문 조종사가 비행 중 제어 동작(전진, 좌측 요아, 우측 요아, 정지, 교차로)을 기록함으로써 암시 학습을 구현했다.
• 모델은 다섯 가지 이산 동작을 출력한다: 전진, 좌/우 요아, 정지, 그리고 랜드마크 기반 항법을 위한 교차로 탐지.
• 전문가가 일정 고도 2.5m AGL에서 비행한 실세계 도시 비행 경로 357m 분량의 맞춤형 데이터셋을 사용해 모델을 훈련시켰다.
• 희소 장애물(예: 차량, 나뭇가지 등)을 처리하기 위해 단순한 옵티컬 플로우 기반 충돌 회피 시스템을 통합했다.

실험 결과

연구 질문

• RQ1 단일 카메라 시각만을 사용하여 실시간으로 고속 자율 도로 항법을 수행할 수 있는 경량 엔드 투 엔드 딥 러닝 모델이 가능한가?
• RQ2 암시 학습이 복잡한 도시 거리에서 전문 조종사의 비행 행동을 얼마나 효과적으로 모방할 수 있는가?
• RQ3 특히 교차로와 다양한 조명 조건이 존재할 경우, 모델이 훈련되지 않은 도로 세그먼트에 얼마나 잘 일반화되는가?
• RQ4 예를 들어 날카러운 그림자나 손상된 도로 조건에서 모델의 성능은 어떻게 저하되는가?
• RQ5 GPS나 특수 센서에 의존하지 않고도 고속(예: 6 m/s)에서 높은 정확도와 안정성을 유지할 수 있는가?

주요 결과

• MAVNet는 훈련되지 않은 도시 환경에서 357m의 자율 비행 경로에서 98.44%의 항법 정확도를 기록하여 뛰어난 일반화 능력을 입증했다.
• 모델는 33FPS(프레임당 0.03031초)의 실시간 추론 속도를 확보하여 표준 30Hz 카메라 입력 레이트를 초월했으며, 이는 최대 시속 6m의 고속 비행을 가능하게 했다.
• 전문가와 모델의 궤적 간 상관계수는 위치(X축)에서 0.9977, 요아 방향에서 0.8534로, 운동 제어의 높은 정밀도를 확인했다.
• GPS 플롯을 통해 그림 11에서 연속 비행 중 교차로를 성공적으로 탐지하고 자율 전환 결정을 내리는 데 성공했다.
• 날카러운 그림자 조건에서는 엣지 아티팩트로 인해 성능이 81%로 저하되었으며, 이는 시각적 왜곡에 민감함을 시사했다.
• 예리한 커프와 비균일한 표면을 가진 도로에서도 모델은 안정성과 정확도를 유지했지만, 이러한 경우에 약간의 성능 저하가 관찰되었다.