[논문 리뷰] Simultaneous Localization And Mapping with depth Prediction using Capsule Networks for UAVs

Sunil Prakash, Gaelan Gu|arXiv (Cornell University)|2018. 08. 16.

Robotics and Sensor-Based Localization참고 문헌 9인용 수 4

한 줄 요약

이 논문은 UAV를 위한 단안 SLAM 시스템을 제안하며, 깊이 예측을 위해 캡슐 네트워크(CapsNet)를 활용하여 CNN 기반 방법에 비해 공간 계층 구조와 객체 자세를 더 잘 인코딩함으로써 성능을 향상시킨다. 시스템은 캡슐 네트워크 기반 깊이 맵을 关键 프레임 기반 카메라 자세 추정 및 확장 칼만 필터(EKF)와 통합하여 TUM 데이터셋에서 ORB-SLAM과 CNN-SLAM보다 높은 깊이 예측 정확도를 달성했으며, TUM/seq3에서 29.98%의 정확한 깊이 예측을 기록했다.

ABSTRACT

In this paper, we propose an novel implementation of a simultaneous localization and mapping (SLAM) system based on a monocular camera from an unmanned aerial vehicle (UAV) using Depth prediction performed with Capsule Networks (CapsNet), which possess improvements over the drawbacks of the more widely-used Convolutional Neural Networks (CNN). An Extended Kalman Filter will assist in estimating the position of the UAV so that we are able to update the belief for the environment. Results will be evaluated on a benchmark dataset to portray the accuracy of our intended approach.

연구 동기 및 목표

• 캡슐 네트워크가 공간 자세와 객체 방향을 더 잘 인코딩할 수 있도록 단안 SLAM 시스템을 저비용으로 개발하여 CNN의 한계를 극복한다.
• 캡슐 네트워크의 벡터 기반 표현 방식을 활용해 단일 카메라 기반 UAV 항법에서 깊이 예측 정확도를 향상시킨다.
• 캡슐 네트워크 기반 깊이 맵을 关键 프레임 추적 및 EKF 기반 자세 추정과 융합하여 견고한 3차원 환경 재구성 시스템을 구현한다.
• 기준 데이터셋에서 제안된 방법의 성능을 평가하고, 깊이 예측 정확도 측면에서 ORB-SLAM과 CNN-SLAM과의 비교를 수행한다.
• TUM 데이터셋에서 학습된 캡슐 네트워크 모델이 새로운, 볼 수 없는 실내 환경에 대해 얼마나 잘 일반화되는지 평가한다.

제안 방법

• 시스템은 ROS를 탑재한 Parrot AR Quadcopter 드론에 장착된 단안 전방 카메라를 사용하여 18fps, 640x480 해상도 영상을 캡처하여 SLAM 처리를 수행한다.
• 캡슐 네트워크는 입력 이미지를 처리하여 밀도 높은 깊이/차이 맵을 생성하며, 캡슐 간의 동적 라우팅을 통해 객체 자세와 공간 계층을 인코딩한다.
• 關键 프레임 기반 접근 방식을 통해 2D-3D 대응점을 탐지하고 추적하며, 광학 흐름 및 깊이 맵 제약 조건을 활용해 EKF를 통해 카메라 자세를 추정한다.
• EKF는 깊이 예측값과 광학 흐름 잔차를 융합하여 불확실성을 최소화하며, Huber 노름과 잔차 기반 불확실성 모델링을 사용한다.
• 예측된 차이값에 대한 픽셀 단위 신뢰도를 측정하여 불확실성 맵을 생성함으로써 깊이 예측의 견고성을 향상시킨다.
• 시스템은 깊이 맵, 광학 흐름 및 关键 프레임 데이터를 융합하여 EKF 기반 상태 추정을 통해 환경의 글로벌 3차원 맵을 구축한다.

실험 결과

연구 질문

• RQ1 캡슐 네트워크는 UAV 응용 분야의 단안 SLAM에서 깊이 예측 정확도 측면에서 기존의 컨volutional 신경망(CNN)을 능가할 수 있는가?
• RQ2 캡슐 네트워크의 벡터 기반 표현 방식은 전통적인 CNN에 비해 공간 추론과 객체 자세 추정에 어떻게 기여하는가?
• RQ3 캡슐 네트워크 기반 깊이 예측은 UAV 자세 추정 및 3차원 맵 재구성 정확도에 어느 정도 기여하는가?
• RQ4 TUM 데이터셋에서 학습된 모델이 다른 조명 조건과 구조적 특징을 지닌 새로운 실내 환경에 대해 잘 일반화되는가?
• RQ5 캡슐 네트워크 기반 깊이 맵을 EKF 및 关键 프레임 추적과 융합함으로써, CNN 기반 또는 특징 기반 방법에 비해 전체 SLAM 성능은 어느 정도 향상되는가?

주요 결과

• 제안된 캡슐 네트워크 기반 SLAM 시스템은 TUM/seq3 데이터셋에서 29.98%의 정확한 깊이 예측을 기록했으며, 이는 ORB-SLAM(12.477%)과 CNN-SLAM(27.396%)을 모두 초월한 성과이다.
• TUM/seq2에서는 25.784%의 정확한 깊이 예측을 달성했으며, CNN-SLAM의 24.077%와 ORB-SLAM의 0.059%를 모두 뛰어넘었다.
• 시스템은 일반화 능력을 입증했으며, TUM 데이터셋에서 학습된 모델이 새로운 실내 아파트 데이터셋(자체 제작)에서도 28.590%의 정확한 깊이 예측을 기록했다.
• TUM의 네 개 시퀀스 중 세 개에서 캡슐 네트워크 기반 깊이 예측이 CNN-SLAM보다 더 높은 정확도를 보였으며, 이는 향상된 공간 추론과 특징 인코딩 능력을 시사한다.
• 픽셀 단위의 신뢰도를 기반으로 생성된 불확실성 맵은 텍스처가 부족하거나 대trast가 낮은 영역에서 깊이 예측의 견고성을 향상시켰다.
• 캡슐 네트워크 기반 깊이 맵을 EKF와 광학 흐름과 융합함으로써, 단안 제약 조건에도 불구하고 안정적인 3차원 맵핑과 정확한 UAV 자세 추정이 실시간으로 가능해졌다.