[논문 리뷰] Learning Vision-based Cohesive Flight in Drone Swarms

Fabian Schilling, Julien Lecoeur외 2명|arXiv (Cornell University)|2018. 09. 03.

Robotics and Sensor-Based Localization참고 문헌 26인용 수 16

한 줄 요약

이 논문은 원시 카메라 이미지에서 직접 코히어런스 있고 충돌 없는 비행을 학습하는 완전히 탈중앙화된 비전 기반 제어 시스템을 제안한다. 군집 운동 알고리즘으로 생성된 시뮬레이션 데이터를 기반으로 훈련된 컨volutional 신경망(CNN)을 사용하여, 통신이나 위치 공유 없이도 시각 입력만으로 3D 속도 명령을 예측한다. 이는 샘플 효율적이며 강건한 조율을 가능하게 하며, 예측되지 않은 군집 크기와 속도에 대한 일반화 능력을 입증한다.

ABSTRACT

This paper presents a data-driven approach to learning vision-based collective behavior from a simple flocking algorithm. We simulate a swarm of quadrotor drones and formulate the controller as a regression problem in which we generate 3D velocity commands directly from raw camera images. The dataset is created by simultaneously acquiring omnidirectional images and computing the corresponding control command from the flocking algorithm. We show that a convolutional neural network trained on the visual inputs of the drone can learn not only robust collision avoidance but also coherence of the flock in a sample-efficient manner. The neural controller effectively learns to localize other agents in the visual input, which we show by visualizing the regions with the most influence on the motion of an agent. This weakly supervised saliency map can be computed efficiently and may be used as a prior for subsequent detection and relative localization of other agents. We remove the dependence on sharing positions among flock members by taking only local visual information into account for control. Our work can therefore be seen as the first step towards a fully decentralized, vision-based flock without the need for communication or visual markers to aid detection of other agents.

연구 동기 및 목표

• 위치 공유나 통신에 의존하지 않는 탈중앙화된 비전 기반 드론 군집 제어 시스템을 개발하는 것.
• 로컬 시각 입력과 원시 이미지로부터의 엔드 투 엔드 학습을 통해 밀도 높은 군집에서 강건하고 공명적인 비행을 가능하게 하는 것.
• 신경망이 명시적 지도 없이도 비전 데이터로부터 에이전트의 위치 및 상대 운동을 암묵적으로 학습할 수 있는지 입증하는 것.
• 훈련된 제어기가 예측되지 않은 조건(예: 다양한 군집 크기와 속도)으로의 일반화 능력을 검증하는 것.
• 완전히 자율적이고 비전 전용 드론 군집의 실세계 적용을 위한 기반을 마련하는 것.

제안 방법

• 제어기는 원시 옴니디렉셔널 카메라 이미지에서 3D 속도 명령을 예측하는 회귀 문제로 설정된다.
• 단순한 군집 운동 알고리즘을 사용하여 무작위 초기화 및 경로를 가진 큸터티포드 드론 군집을 시뮬레이션하여 훈련 데이터를 생성한다.
• 각 이미지에 대해, 군집 운동 알고리즘의 역학에서 유도된 목표 속도 명령을 계산하여 시각-제어 데이터 쌍을 생성한다.
• 예측값과 목표값 간 오차를 최소화함으로써, 시각 입력을 예측된 속도 명령으로 매핑하는 컨volutional 신경망(CNN)을 훈련한다.
• 기울기 기반 할당 방법을 통해 최전단의 컨볼루션 레이어에서 시각화된 중요도 맵을 계산하여, 운동 결정에 가장 영향을 미치는 이미지 영역을 확인한다.
• 훈련된 CNN은 시뮬레이션과 초기 실세계 실험에서 실시간 반응형 제어기로 구현되었으며, PX4와 ROS를 사용한다.

실험 결과

연구 질문

• RQ1 비전 기반 신경 제어기가 위치 공유나 통신에 의존하지 않고 드론 군집에서 공명적이고 충돌 없는 비행을 학습할 수 있는가?
• RQ2 시뮬레이션 데이터로 훈련된 CNN이 예측되지 않은 군집 크기와 속도에 얼마나 잘 일반화되는가?
• RQ3 명시적 감지 지도 없이도 네트워크가 원시 시각 입력에서 다른 에이전트를 암묵적으로 정위치화할 수 있는가?
• RQ4 중요도 맵이 운동 결정에 영향을 미치는 시각적으로 중요한 영역을 효과적으로 식별하는가?
• RQ5 동일한 소프트웨어 스택을 사용하여 시뮬레이션에서 실세계 비행으로 제어기를 이식할 수 있는가?

주요 결과

• 비전 기반 제어기는 다양한 크기(N=3,12)와 속도(v^max=2.0, 4.0 m/s)의 시뮬레이션 군집에서 충돌 없이 공명 비행을 성공적으로 달성하여 강력한 일반화 능력을 입증한다.
• 이동 지점 제거 조건에서도 제어기는 안정적인 에이전트 간 거리와 높은 질서 파라미터를 유지하여 자율적 공명성을 나타낸다.
• 중요도 맵 시각화 결과, 네트워크가 시각적 필드 내 다른 에이전트를 효과적으로 정위치화하고 있으며, 카메라 시야에 보이는 특정 에이전트에 대해 높은 활성화를 보인다.
• 중요도 맵은 역전파를 통해 효율적으로 계산되며, 감지 또는 상대 정위치 추정 시스템의 실시간 사전 지식으로 활용될 수 있다.
• 방해 요소(예: 군집 크기나 속도 변화)가 가해져도 성능 저하가 눈에 띄지 않게 잘 일반화되어 있으며, 성능에 큰 영향을 주지 않는다.
• 초기 실세계 실험 결과, 시뮬레이션에서 사용된 동일한 소프트웨어 스택(PX4/ROS)이 실제 드론에 적용 가능하며, 시뮬레이션에서 현실로의 전이가 원활하게 이루어짐을 확인하였다.