[논문 리뷰] Omnidirectional CNN for Visual Place Recognition and Navigation

Tsun-Hsuan Wang, Hung-Jui Huang외 4명|arXiv (Cornell University)|2018. 03. 12.

Robotics and Sensor-Based Localization참고 문헌 29인용 수 13

한 줄 요약

이 논문은 옴니디렉셔널 카메라를 사용하여 실내 환경에서 시각적 장소 인식 및 주행을 위한 전방위성 컨volution 신경망(O-CNN)을 제안한다. 원형 패딩, 회전 불변성을 위한 롤 브ัง칭, 연속적으로 업그레이드된 구조적 특징 임베딩 손실을 통합함으로써 O-CNN는 가장 가까운 장소 예시까지의 상대적 거리를 추정하며, 이는 최상의 정확도와 추론 속도를 달성하는 히우리스틱 주행 정책을 가능하게 한다. 이는 가상 및 실제 데이터셋 모두에서 최신 기술 수준(SOTA)을 달성한다.

ABSTRACT

$ $Visual place recognition is challenging, especially when only a few place exemplars are given. To mitigate the challenge, we consider place recognition method using omnidirectional cameras and propose a novel Omnidirectional Convolutional Neural Network (O-CNN) to handle severe camera pose variation. Given a visual input, the task of the O-CNN is not to retrieve the matched place exemplar, but to retrieve the closest place exemplar and estimate the relative distance between the input and the closest place. With the ability to estimate relative distance, a heuristic policy is proposed to navigate a robot to the retrieved closest place. Note that the network is designed to take advantage of the omnidirectional view by incorporating circular padding and rotation invariance. To train a powerful O-CNN, we build a virtual world for training on a large scale. We also propose a continuous lifted structured feature embedding loss to learn the concept of distance efficiently. Finally, our experimental results confirm that our method achieves state-of-the-art accuracy and speed with both the virtual world and real-world datasets.

연구 동기 및 목표

• 가용한 장소 예시가 몇 개 뿐인 실내 환경에서 시각적 장소 인식 및 주행 문제를 해결하기 위해.
• 실제 로봇 주행에서 흔한 큰 카메라 자세 변화에 대해 강건성을 향상시키기 위해.
• 효율적인 주행을 위해 시각 입력과 장소 예시 사이의 상대적 거리를 추정하는 딥 러닝 모델을 개발하기 위해.
• 훈련 및 평가를 위한 확장 가능한 레이블 없는 가상 세계를 구축하기 위해.

제안 방법

• O-CNN는 옴니디렉셔널 이미지의 위상적 성질을 고려하여 경계가 없는 환경에서 입력 및 특징 공간 모두에 원형 패딩을 사용한다.
• 회전 불변성을 달성하기 위해 기울인 특징 맵을 처리하고 예측을 통합하는 롤 브랜칭 메커니즘을 도입한다.
• 특징 공간에 상대적 거리 정보를 임bedding하기 위해 연속적으로 업그레이드된 구조적 특징 임베딩 손실을 제안한다. 이는 거리 추정을 가능하게 한다.
• 효율적이고 안전하며 확장 가능한 훈련을 가능하게 하기 위해 대규모이고 합성된 실내 가상 세계에서 모델을 엔드 투 엔드로 훈련시킨다.
• 히우리스틱 주행 정책은 추정된 상대적 거리를 기반으로 로봇이 가장 가까운 장소 예시로 향하도록 이끈다.
• 모델은 가상 및 실제 데이터셋 모두에서 평가되며, 가상 환경에서의 사전 훈련을 통해 실제 환경으로의 전이 학습이 수행된다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 매우 다양한 카메라 자세에서 시각 입력과 장소 예시 사이의 상대적 거리를 효과적으로 추정할 수 있는가?
• RQ2 원형 패딩과 회전 불변성 기법을 통합함으로써 옴니디렉셔널 시각적 장소 인식 성능이 어떻게 향상되는가?
• RQ3 연속적으로 업그레이드된 구조적 특징 임베딩 기법이 시각적 장소 인식에서 거리 인식 특징 학습에 얼마나 기여하는가?
• RQ4 합성된 가상 세계에서 사전 훈련된 모델이 실제 실내 주행 작업으로 효과적으로 일반화될 수 있는가?
• RQ5 예시 수가 적은 조건에서 제안된 O-CNN가 최신 기술 수준의 방법들과 정확도, 속도, 강건성 측면에서 어떻게 비교되는가?

주요 결과

• 가상 세계에서 O-CNN는 모든 오차 허용 범위에서 평균 리콜률 69.7%를 기록하며, NetVLAD(62.0%), Disloc(43.8%), PoseNet(2.7%)를 모두 앞서나간다.
• 가상 세계에서 O-CNN의 추론 시간은 쿼리당 128.21ms로, Disloc의 2439.02ms보다 훨씬 빠르다.
• 실제 세계 데이터셋에서 O-CNN는 오차 허용 범위 전반에서 평균 리콜률 77.1%를 기록하며, Disloc의 65.4%를 뛰어넘는다.
• 리콜-거리 평가에서 O-CNN는 2미터 이내 거리에서 뛰어난 성능을 유지하며, 평균 리콜률 57.2%를 기록했고, Disloc는 51.5%였다.
• 제거 실험 결과, 원형 패딩, 롤 브랜칭, 연속적으로 업그레이드된 임베딩 모두가 성능 향상에 기여하며, O-CNN CLCR가 가장 우수한 성능을 기록했다.
• 국소 주행에서 O-CNN는 평균 22.01단계에 84%의 성공률를 기록했고, NetVLAD의 68% 성공률 및 36.14단계 평균보다 뛰어나다.