[논문 리뷰] LPD-Net: 3D Point Cloud Learning for Large-Scale Place Recognition and Environment Analysis

Zhe Liu, Shunbo Zhou외 5명|arXiv (Cornell University)|2018. 12. 11.

Robotics and Sensor-Based Localization참고 문헌 37인용 수 22

한 줄 요약

LPD-Net은 3차원 포인트 클라우드 기반 장소 인식을 위한 딥러닝 프레임워크로, 국소적 특징을 적응적으로 추출하고 그래프 기반의 이웃 집합 모듈을 사용하여 공간적 구조를 포착함으로써 글로벌 디스크립터 학습을 향상시킨다. 이는 PointNetVLAD을 능가하며, 기존 이미지 기반 방법에 비해 조명 및 날씨 변화에 더 뛰어난 내구성을 보이며 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Point cloud based place recognition is still an open issue due to the difficulty in extracting local features from the raw 3D point cloud and generating the global descriptor, and it's even harder in the large-scale dynamic environments. In this paper, we develop a novel deep neural network, named LPD-Net (Large-scale Place Description Network), which can extract discriminative and generalizable global descriptors from the raw 3D point cloud. Two modules, the adaptive local feature extraction module and the graph-based neighborhood aggregation module, are proposed, which contribute to extract the local structures and reveal the spatial distribution of local features in the large-scale point cloud, with an end-to-end manner. We implement the proposed global descriptor in solving point cloud based retrieval tasks to achieve the large-scale place recognition. Comparison results show that our LPD-Net is much better than PointNetVLAD and reaches the state-of-the-art. We also compare our LPD-Net with the vision-based solutions to show the robustness of our approach to different weather and light conditions.

연구 동기 및 목표

• 대규모 동적 환경에서 원시 3차원 포인트 클라우드로부터 구별력 있고 일반화 가능한 글로벌 디스크립터를 추출하는 데 도전한다.
• PointNetVLAD과 같은 기존 방법들이 국소적 특징의 공간 분포를 忽시하는 한계를 극복한다.
• 원시 포인트 클라우드 데이터로부터 국소적 구조와 글로벌 공간적 관계를 종단 간(end-to-end)으로 학습하는 딥 네트워크를 개발한다.
• 저조도, 비, 계절 변화와 같은 악조건에서도 장소 인식의 내구성을 향상시킨다.
• 대규모 포인트 클라우드 검색 작업에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 고정된 k-최근접 이웃이 아닌 특징 유사도에 기반해 동적으로 이웃 포인트를 선택함으로써 국소적 구조를 학습하는 적응형 국소적 특징 추출 모듈을 도입한다.
• 특징 공간과 카르테시안 공간 양쪽에서 국소적 특징 간의 관계를 모델링하여 공간 분포를 포착하는 그래프 기반의 이웃 집합 모듈을 활용한다.
• 기하학적 공간과 특징 공간 양쪽에서 학습된 그래프를 통합하여 국소적 특징을 융합함으로써 글로벌 구조를 인덕티브하게 학습하는 이중 그래프 집합 메커니즘을 사용한다.
• 네트워크의 종단 간 학습을 통해 원시 3차원 좌표에서 국소적 특징 학습과 글로벌 디스크립터 생성을 동시에 최적화한다.
• 검색을 위한 압축되고 구별력 있는 글로벌 디스크립터로 특징을 집계하기 위해 NetVLAD 방식의 글로벌 풀링 레이어를 활용한다.

실험 결과

연구 질문

• RQ1 고정된 이웃 방법에 비해 적응형 국소적 특징 추출이 대규모 3차원 포인트 클라우드에서 글로벌 디스크립터의 구별력을 향상시키는가?
• RQ2 그래프 기반 집합을 통해 국소적 특징의 공간 분포를 모델링하면 글로벌 디스크립터 품질이 어떻게 향상되는가?
• RQ3 어려운 날씨 및 조명 조건에서 3차원 포인트 클라우드 기반 접근이 이미지 기반 방법보다 장소 인식에서 우수한 성능을 보이는가?
• RQ4 LPD-Net은 계절 변화나 동적 변화가 있는 다양한 환경으로 일반화되는 정도는 어느 정도인가?
• RQ5 특징 공간과 기하학적 공간에서의 그래프 학습 통합이 대규모 환경에서 검색 정확도를 어떻게 향상시키는가?

주요 결과

• Robotcar 데이터셋에서 LPD-Net은 15m 기준 88.4%의 리콜을 기록하여 PointNetVLAD(15m 기준 86.5%)를 뛰어넘고 새로운 최신 기술 수준을 수립했다.
• 야간 비 조건에서는 LPD-Net이 15m 기준 44.6%의 리콜을 기록하여 NV+SP(28.4%)와 HF-Net(11.4%)를 크게 앞서며 낮은 시야 조건에서도 뛰어난 내구성을 입증했다.
• 아침, 저녁, 흐린 날씨, 야간 등 모든 테스트된 날씨 및 조명 조건에서도 강력한 성능 유지를 보였으며, 대부분의 경우 10m 기준 80% 이상의 리콜을 기록했다.
• 절단 실험 결과, 원래 특징 벡터를 기반으로 한 특징 공간 이웃 관계(P)가 원본(S) 및 기하학적 관계만을 사용하는 경우(O)보다 최고의 성능을 기록했다.
• 학습된 k-최적 이웃(k_opt^i)을 사용하는 적응형 국소적 특징 추출은 재학습 후에도 고정된 k 값 대비 일관되게 정확도를 향상시켰다.
• 그래프 기반 집합 모듈은 공간 구조를 효과적으로 포착했으며, 절단 실험 결과 특징 공간과 카르테시안 공간 그래프를 병합한 경우가 더 뛰어난 디스크립터 품질을 제공했다.