[논문 리뷰] Obstacle Avoidance through Deep Networks based Intermediate Perception

Shichao Yang, Sandeep Konam외 4명|arXiv (Cornell University)|2017. 04. 27.

Robotics and Sensor-Based Localization참고 문헌 19인용 수 34

한 줄 요약

이 논문은 먼저 깊이와 표면 법선을 중간 기하 표현으로 예측한 후 이를 바탕으로 3D 경로를 예측하는 이단계 딥러닝 접근법을 제안한다. 이 방법은 직접 RGB에서 경로로의 예측보다 20% 높은 정확도를 달성하며, 실내 데이터셋과 실제 큐브로터 비행에 걸쳐 잘 일반화되며, 소비자용 GPU에서 25 Hz로 실시간 추론이 가능하다.

ABSTRACT

Obstacle avoidance from monocular images is a challenging problem for robots. Though multi-view structure-from-motion could build 3D maps, it is not robust in textureless environments. Some learning based methods exploit human demonstration to predict a steering command directly from a single image. However, this method is usually biased towards certain tasks or demonstration scenarios and also biased by human understanding. In this paper, we propose a new method to predict a trajectory from images. We train our system on more diverse NYUv2 dataset. The ground truth trajectory is computed from the designed cost functions automatically. The Convolutional Neural Network perception is divided into two stages: first, predict depth map and surface normal from RGB images, which are two important geometric properties related to 3D obstacle representation. Second, predict the trajectory from the depth and normal. Results show that our intermediate perception increases the accuracy by 20% than the direct prediction. Our model generalizes well to other public indoor datasets and is also demonstrated for robot flights in simulation and experiments.

연구 동기 및 목표

• 특정 시나리오와 작업에 치우친 인간의 시연 기반 데이터셋의 한계를 해결하기 위해.
• 기존의 SfM 및 vSLAM이 실패하는 무문자 또는 저문자 환경에서 단일 렌즈 장애물 회피를 향상시키기 위해.
• 인간 레이블 기반 조종 명령어에 의존하지 않고 단일 RGB 이미지에서 안정적이고 일반화 가능한 경로 예측 방법을 개발하기 위해.
• 단일 렌즈 시각만을 사용하여 복잡한 실내 환경에서 실시간 고정확도 주행을 가능하게 하기 위해.
• 시뮬레이션과 하드웨어 모두에서 데이터셋 간 및 실제 로봇 비행에 걸쳐 일반화 능력을 입증하기 위해.

제안 방법

• RGB-D 이미지에 3D 비용 함수를 적용하여 인간 시연에 의존하지 않고 지도 경로를 자동으로 생성한다.
• 이중 단계 컨volutional 신경망(CNN)을 훈련: 먼저 RGB 이미지에서 깊이 및 표면 법선 맵을 중간 인식으로 예측한다.
• 예측된 깊이 및 법선 맵을 두 번째 CNN의 입력으로 사용하여 로봇의 국소 프레임에서 3D 경로를 회귀한다.
• 기하학적 사전 지식(깊이 및 표면 법선)을 활용하여 3D 장면 이해와 경로 정확도를 향상시킨다.
• 비용 함수 최적화를 통한 자기지도 경로 레이블링을 사용해 NYUv2 데이터셋에서 모델을 훈련한다.
• 실시간 추론을 GPU에서 수행하여 시뮬레이션된 큐브로터와 실제 Parrot Bebop 드론 모두에 훈련된 모델을 구현한다.

실험 결과

연구 질문

• RQ1 인간 시연에 의존하지 않고 RGB-D 데이터에서 정확한 자기지도 지도 경로를 생성할 수 있는가?
• RQ2 깊이 및 표면 법선과 같은 중간 기하 표현을 예측하는 것이 직접 RGB에서 경로로의 학습보다 경로 예측 정확도를 향상시키는가?
• RQ3 이중 단계 중간 인식 방법이 다양한 실내 환경과 데이터셋 간에 얼마나 잘 일반화되는가?
• RQ4 모델이 동적인 시뮬레이션과 실제 로봇 비행에서 실시간으로 안정적인 장애물 회피를 가능하게 하는가?
• RQ5 직접 예측과 중간 인식 간의 장애물 회피 정확도 및 일반화 능력 격차는 무엇인가?

주요 결과

• 이중 단계 중간 인식 방법은 직접 RGB에서 경로로의 예측보다 경로 예측 정확도를 20% 향상시킨다.
• 모델은 NYUv2 이외의 공개 실내 데이터셋에도 잘 일반화되어 있으며, 도메인 이동에 대한 강건성을 입증한다.
• 시뮬레이션에서 드론은 평균 0.98m의 장애물 거리를 유지하며, 드론 크기가 0.52m인 상황에서도 0.78m 너비의 문을 성공적으로 통과했다.
• 시스템은 GTX 980 Ti GPU에서 평균 추론 시간 38.5ms로 실시간으로 25 Hz로 작동하여 실시간 제어에 적합하다.
• 실제 큐브로터 비행에서 Parrot Bebop 플랫폼을 사용한 결과, 복도, 구불구불한 길, 장애물이 많은 환경에서도 합리적인 경로를 예측할 수 있었다.
• 실제 비행에서 상태 추정의 불안정성에도 불구하고, 경로 예측 시스템은 기능적으로 효과적이며 강력한 인식 능력을 보여준다.