[논문 리뷰] UAV Visual Teach and Repeat Using Only Semantic Object Features

Amirmasoud Ghasemi Toudeshki, Faraz Shamshirdar외 1명|arXiv (Cornell University)|2018. 01. 24.

Robotics and Sensor-Based Localization참고 문헌 21인용 수 8

한 줄 요약

이 논문은 저수준 이미지 특징에 의존하지 않고 오직 딥 컨볼루션 네트워크 기반의 의미적 객체 검출 결과를 지점으로 사용하는 단안 UAV 시각적 가르침과 반복(VTR) 시스템을 제안한다. 의미적 검출기의 불변성에 기반하여 시야각 변화, 조도 변화, 객체 이동 등에 강건하게 재정위치 및 궤적 반복을 달성하며, 교육 시작 지점에서 5m 떨어진 곳에서 출발하거나 고도 40% 변화, 객체 제거/이동 조건에서도 성공적으로 궤적을 완료한다.

ABSTRACT

We demonstrate the use of semantic object detections as robust features for Visual Teach and Repeat (VTR). Recent CNN-based object detectors are able to reliably detect objects of tens or hundreds of categories in a video at frame rates. We show that such detections are repeatable enough to use as landmarks for VTR, without any low-level image features. Since object detections are highly invariant to lighting and surface appearance changes, our VTR can cope with global lighting changes and local movements of the landmark objects. In the teaching phase, we build a series of compact scene descriptors: a list of detected object labels and their image-plane locations. In the repeating phase, we use Seq-SLAM-like relocalization to identify the most similar learned scene, then use a motion control algorithm based on the funnel lane theory to navigate the robot along the previously piloted trajectory. We evaluate the method on a commodity UAV, examining the robustness of the algorithm to new viewpoints, lighting conditions, and movements of landmark objects. The results suggest that semantic object features could be useful due to their invariance to superficial appearance changes compared to low-level image features.

연구 동기 및 목표

• 오직 의미적 객체 검출 결과를 지점으로 사용하는 UAV용 강건한 시각적 가르침과 반복(VTR) 시스템을 개발하기 위해.
• 시야각 및 조도 변화에 민감한 저수준 특징(SIFT, SURF 등)의 한계를 해결하기 위해.
• 객체 이동 및 조도 변화와 같은 동적 변화가 있는 실세계 환경에서도 신뢰할 수 있는 재정위치 및 궤적 반복을 가능하게 하기 위해.
• 대부분의 UAV에서 실시한 실험을 통해 큰 시야각 변화 및 환경적 요란함이 있는 조건에서 시스템의 성능을 평가하기 위해.
• 외부 인프라 없이 실외 및 실내 환경에서 장기적인 비행을 위한 의미적 특징의 가능성 탐색하기 위해.

제안 방법

• 교육 단계 동안, 시스템은 사전 훈련된 CNN 객체 검출기를 사용하여 객체 레이블과 그들의 2차원 이미지 평면 내 위치로 구성된 압축된 장면 기술자(설명자)를 기록한다.
• 재반복 단계에서는 Seq-SLAM에 영감을 받은 순차적-시간적 재정위치 기법을 사용하여 현재의 객체 검출 순서를 학습된 순서와 비교해 가장 유사한 기준 장면을 식별한다.
• 필통 레인 기반의 시각적 서보 제어기가 이전에 비행된 궤적을 따라 UAV를 이동시키며, 향후 지점들을 사전에 인지할 수 있도록 이중 윈도우 라이크 후행 메커니즘을 도입한다.
• 시스템은 오직 의미적 검출 결과에 의존하며, 저수준 특징이나 3차원 복원 기법을 사용하지 않아 계산 효율성이 높고 외관 변화에 강건하다.
• 실시간으로 영상 프레임 속도에서 객체 검출이 수행되어 동적이고 확장 가능한 지점 추적 기능을 지원한다.
• 시스템은 조명 변화 및 객체 제거/이동와 같은 통제된 환경 변화가 있는 실세계 실험을 통해 일반 UAV에서 평가되었다.

실험 결과

연구 질문

• RQ1 의미적 객체 검출 결과만으로도 단안 UAV 시각적 가르침과 반복에 충분하고 반복 가능한 지점을 제공할 수 있는가?
• RQ2 궤적 반복 중에 큰 시야각 변화, 조도 변화, 객체 이동(예: 제거 또는 재배치)에 대해 시스템의 강건성은 어떠한가?
• RQ3 UAV가 교육 위치에서 5m 떨어져 있고 무작위 방향을 향해 출발할 경우, 시스템이 재정위치하고 궤적을 성공적으로 반복할 수 있는가?
• RQ4 유사한 환경적 요란함 조건에서 의미 기반 VTR의 성능은 전통적인 특징 기반 방법(SURF 등)과 비교해 어떻게 되는가?
• RQ5 재반복 중 UAV의 고도가 40% 증가할 경우, 시스템이 궤적 추적을 유지할 수 있는가?

주요 결과

• UAV는 교육 위치에서 5m 떨어져 있고 무작위 방향을 향해 출발하더라도 성공적으로 재정위치하고 궤적을 완료했으며, 이는 1m 이상의 외부 간섭에서 실패하는 이전의 SURF 기반 방법보다 뛰어난 성능을 보였다.
• UAV의 고도를 40% 증가시킨 상황에서도 안정적인 성능을 유지하여 척도 및 시야각 변화에 강건함을 입증했다.
• 객체 제거 또는 이동 시 평균 4초가 추가로 소요되어 제어기의 비일관된 지점 정렬로 인한 성능 저하가 발생했다.
• 놀랍게도 전역 조명 조건을 변경(천장 조명 끄기 및 포지티브 조명 사용)하면 검출 일관성이 향상되고 '깜빡임' 현상이 감소하여 완료 시간이 단축되었다.
• 객체 제거/이동 조건에서도 검출된 특징 수가 감소했지만, 성공적인 재정위치 및 항법에 충분한 수준을 유지했다.
• 의미적 특징이 객체의 회전 및 동일 카테고리의 다른 객체로의 교체에 대해 강력한 불변성을 보이며 장기적인 VTR에 있어 의미적 특징의 유용성을 확인했다.