[논문 리뷰] Learning 3D Segment Descriptors for Place Recognition

Andrei Cramariuc, Renaud Dubé외 3명|arXiv (Cornell University)|2018. 04. 24.

Robotics and Sensor-Based Localization참고 문헌 11인용 수 9

한 줄 요약

이 논문은 SLAM 시스템 내 장소 인식 성능을 향상시키기 위해 라이다 포인트 클라우드에서 시점에 관계없이 불변하는 3D 세그먼트 기술자 생성을 위한 딥러닝 기반 방법을 제안한다. 삼중 CNN 아키텍처—시아모이스 네트워크, 대비 손실 네트워크, 군집 기반 특징 추출기—를 사용하여 학습된 기술자가 기존의 고유값 기반 기술자보다 뛰어나게 성능을 발휘함을 입증하였으며, 후보 검색에서 최대 50%의 참 양성 매칭과 80% 이상의 분류 정확도를 달성하였다.

ABSTRACT

In the absence of global positioning information, place recognition is a key capability for enabling localization, mapping and navigation in any environment. Most place recognition methods rely on images, point clouds, or a combination of both. In this work we leverage a segment extraction and matching approach to achieve place recognition in Light Detection and Ranging (LiDAR) based 3D point cloud maps. One challenge related to this approach is the recognition of segments despite changes in point of view or occlusion. We propose using a learning based method in order to reach a higher recall accuracy then previously proposed methods. Using Convolutional Neural Networks (CNNs), which are state-of-the-art classifiers, we propose a new approach to segment recognition based on learned descriptors. In this paper we compare the effectiveness of three different structures and training methods for CNNs. We demonstrate through several experiments on real-world data collected in an urban driving scenario that the proposed learning based methods outperform hand-crafted descriptors.

연구 동기 및 목표

• 시점 및 가림에 강인한 3D 세그먼트 기술자를 학습함으로써 라이다 기반 SLAM에서의 장소 인식 성능을 향상시키기 위해.
• 시점 변화와 가림 상황에서 세그먼트 매칭 성능이 떨어지는 수작업 기반 기술자(예: 고유값 기반)의 한계를 해결하기 위해.
• 3D 포인트 클라우드 세그먼트 기술자 학습을 위한 다양한 딥러닝 아키텍처와 학습 전략의 평가 및 비교를 위해.
• 학습된 기술자가 실제 도시 주행 데이터 기반으로 기존 방법보다 더 높은 재현율과 정확도를 달성할 수 있음을 입증하기 위해.
• SLAM 시스템에 통합하기 위해 실시간 성능을 확보하면서도 높은 기술자 품질을 유지할 수 있도록 네트워크 최적화를 위해.

제안 방법

• 세 가지 CNN 기반 기술자 학습 방법을 구현함: 대비 손실을 사용하는 시아모이스 네트워크, 대비 손실로 훈련된 특징 추출 네트워크, 공유 특징 추출기를 사용하는 군집 기반 분류기.
• 3D 합성곱층을 사용해 3D 포인트 클라우드 세그먼트에서 기술자를 추출하며, 중간 활성화 값을 최종 기술자 표현으로 사용함.
• 시아모이스 네트워크는 일치하는 세그먼트 쌍의 기술자 간 유클리드 거리를 최소화하고, 일치하지 않는 쌍의 거리는 최대화하도록 훈련됨.
• 대비 손실 기반 네트워크는 유사한 쌍은 가까이, 비유사한 쌍은 멀리 떨어지도록 특징을 학습함으로써 분류 능력을 향상시킴.
• 군집 기반 분류기는 공유 CNN을 통해 기술자를 추출하고, 두 기술자의 연결을 기반으로 랜덤 포레스트를 사용해 일치 여부를 분류함.
• 모든 방법은 실제 도시 라이다 스캔 데이터를 사용한 KITTI 데이터셋에서 평가되었으며, 성능은 ROC 곡선과 최근접 이웃 기반 후보 매칭 정확도로 측정됨.

실험 결과

연구 질문

• RQ1 딥러닝 기반 기술자가 장소 인식을 위한 3D 세그먼트 매칭에서 기존의 고유값 기반 기술자보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 시아모이스, 대비 손실, 군집 기반 아키텍처 중 어느 것이 시점 및 가림 변화 상황에서 세그먼트 매칭 정확도를 가장 높게 끌어올리는가?
• RQ3 최근접 이웃 검색을 통해 기술자 공간에서 후보 매칭을 수행할 때, 다양한 학습 기반 방법 간 재현율과 정밀도는 어떻게 비교되는가?
• RQ4 정확도와 계산 처리량 사이의 상충 관계는 어떻게 되며, 네트워크를 실시간 SLAM 구동에 최적화할 수 있는가?
• RQ5 학습된 기술자가 수작업 기반 방법에 비해 시점 및 가림에 얼마나 강인한가?

주요 결과

• 시아모이스 네트워크는 일치하는 세그먼트 쌍와 일치하지 않는 쌍를 구분하는 데 약 80%의 분류 정확도를 달성함.
• 군집 기반 특징 추출 네트워크와 대비 손실로 훈련된 네트워크 모두 16,000개의 세그먼트로 구성된 데이터셋에서 약 50%의 참 양성 매칭을 기록함.
• 원래 SegMatch 방법에서 사용된 고유값 기반 기술자는 단지 6%의 참 양성 매칭을 기록하여 뚜렷한 성능 격차를 보임.
• 모든 CNN 기반 방법이 분류 및 후보 매칭 작업에서 기준선인 고유값 기반 기술자보다 상당한 성능 향상을 보임.
• 최적화된 CNN은 GPU에서 초당 약 340개의 세그먼트 처리 속도를 확보하여 실시간 배포가 가능하면서도 높은 정확도를 유지함.
• 대비 손실 또는 군집 기반 학습을 통해 단순한 특징 추출보다 더 강인한 기술자 특성을 강화함으로써 일반화 능력과 불변성 향상