[논문 리뷰] Semantic Graph Based Place Recognition for 3D Point Clouds

Xin Kong, Xuemeng Yang외 7명|arXiv (Cornell University)|2020. 08. 26.

Robotics and Sensor-Based Localization참고 문헌 39인용 수 6

한 줄 요약

이 논문은 3D 포인트 클라우드 장소 인식을 위한 의미적 그래프 기반 접근법을 제안하며, 장면을 의미적 객체와 그들의 위상적 관계로 모델링하여 가림과 시점 변화에 강건한 성능을 달성한다. 학습 가능한 그래프 유사도 네트워크를 활용함으로써 KITTI 데이터셋에서 최신 기술 수준(SOTA)의 정확도를 달성하며, 특히 반대 방향 루프 클로징 탐지에서 뛰어난 성능을 보인다.

ABSTRACT

Due to the difficulty in generating the effective descriptors which are robust to occlusion and viewpoint changes, place recognition for 3D point cloud remains an open issue. Unlike most of the existing methods that focus on extracting local, global, and statistical features of raw point clouds, our method aims at the semantic level that can be superior in terms of robustness to environmental changes. Inspired by the perspective of humans, who recognize scenes through identifying semantic objects and capturing their relations, this paper presents a novel semantic graph based approach for place recognition. First, we propose a novel semantic graph representation for the point cloud scenes by reserving the semantic and topological information of the raw point cloud. Thus, place recognition is modeled as a graph matching problem. Then we design a fast and effective graph similarity network to compute the similarity. Exhaustive evaluations on the KITTI dataset show that our approach is robust to the occlusion as well as viewpoint changes and outperforms the state-of-the-art methods with a large margin. Our code is available at: \url{https://github.com/kxhit/SG_PR}.

연구 동기 및 목표

• 가림과 시점 변화와 같은 환경 변화가 있는 3D 포인트 클라우드에서 강건한 장소 인식 문제를 해결한다.
• 소음과 변환에 민감한 저수준 기하학적 또는 통계적 특징에 의존하는 기존 방법의 한계를 극복한다.
• 객체의 의미적 정보와 그들의 공간적 관계를 캡처하여 의미 수준에서 장면을 모델링함으로써 인간의 장면 인식 방식을 모방한다.
• 수동으로 설계된 거리 측도에 의존하지 않고, 장면 간 매칭 점수를 계산하기 위한 효율적이고 학습 가능한 그래프 유사도 네트워크를 개발한다.
• 로봇 및 자율 주행 시스템에 구현 가능한 실시간 성능을 달성한다.

제안 방법

• 먼저 의미 분할을 수행하여 객체 인스턴스를 식별함으로써 원시 포인트 클라우드에서 의미적 그래프 표현을 구성한다.
• 각 의미적 인스턴스를 그래프의 노드로 표현하며, 의미 레이블과 기하학적 특징(예: 중심점, 크기)을 모두 인코딩한다.
• 공간적 근접성과 상대적 방향을 기반으로 노드 간의 위상적 관계를 설정하여 장면의 구조를 모델링한다.
• 노드 수준 임베딩, 그래프 수준 임베딩, 그래프 간 상호작용을 수행하는 그래프 유사도 네트워크를 설계하여 유사도 점수를 계산한다.
• 완전 연결층과 어텐션 메커니즘을 활용한 학습 가능한 아키텍처를 사용하여 관련성이 높은 노드와 관계를 우선시함으로써 누락되거나 노이즈가 있는 데이터에 대한 강건성을 향상시킨다.
• 긍정(같은 장소) 및 부정(다른 장소) 쌍에 대해 유사도 점수를 최적화하기 위해 대비 손실(contrastive loss)을 사용하여 네트워크를 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 의미적 객체와 그들의 위상적 관계를 통해 3D 장면을 모델링하면, 장소 인식에서 가림과 시점 변화에 대해 강건성이 향상되는가?
• RQ2 기존의 특징 거리 기반 방법과 비교할 때, 학습 가능한 그래프 유사도 네트워크의 정확도와 일반화 능력은 어떠한가?
• RQ3 어떤 정도로 의미 수준의 표현이 도전적인 조건에서 局부 또는 전반적 기하 기반 기술보다 우수한가?
• RQ4 제안된 방법은 시점이 거의 반대인 경우에도 높은 성능을 달성할 수 있는가 — 특히 반대 루프 클로징 탐지에서?
• RQ5 로봇 응용 분야에서 실시간 구현에 적합한 실시간 성능 측면에서 그래프 기반 접근법의 추론 속도와 메모리 사용량은 어떠한가?

주요 결과

• 제안된 방법은 KITTI 오도메트리 데이터셋에서 최신 기술 수준(SOTA)의 성능을 달성하며, 특히 반대 루프 클로징 탐지에서 기존 방법들을 뛰어넘는 성능을 보였다.
• 30°의 가림 조건에서도 성능 저하가 최소한으로 발생하여 mAP가 2.1% 감소에 그쳤으며, 이는 M2DP(14.3% 감소)와 PointNetVLAD(10.5% 감소)보다 뚜렷이 뛰어난 성능이다.
• 시점 변화 조건에서는 그래프 표현에서 의미적 및 위상적 관계의 회전 불변성 덕분에 높은 정확도를 유지하였다.
• KITTI00에서 3m 임계값으로 평균 평균 정밀도(mAP)가 94.7%를 기록했으며, 10m 임계값에서도 90% 이상의 mAP를 유지하였다.
• RTX 2080 Ti에서 프레임당 추론 시간은 단 9ms이며 GPU 메모리는 2820MB를 사용하여 로봇 시스템에 실시간 구현이 가능했다.
• 정성적 시각화 결과, 유사도 점수가 가장 높은 것은 인근 장면이며, 기준 프레임 주변에서 정확한 국소화가 이루어짐을 확인할 수 있었다.