[논문 리뷰] TransLoc3D : Point Cloud based Large-scale Place Recognition using Adaptive Receptive Fields

Tian-Xing Xu, Yuan-Chen Guo외 4명|arXiv (Cornell University)|2021. 05. 25.

Remote Sensing and LiDAR Applications참고 문헌 55인용 수 10

한 줄 요약

TransLoc3D는 크기 변화와 노이즈를 억제하기 위해 점별 재가중을 갖춘 적응형 수신장과 외부 트랜스포머를 결합한 3D 포인트 클라우드 기반 장소 인식 방법을 제안한다. 이는 크기 인지 특징 융합과 전역 맥락 모델링을 통해 글로벌 디스크립터의 구별 능력을 향상시켜 Oxford RobotCar, B.D., U.S., R.A. 등의 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Place recognition plays an essential role in the field of autonomous driving and robot navigation. Point cloud based methods mainly focus on extracting global descriptors from local features of point clouds. Despite having achieved promising results, existing solutions neglect the following aspects, which may cause performance degradation: (1) huge size difference between objects in outdoor scenes; (2) moving objects that are unrelated to place recognition; (3) long-range contextual information. We illustrate that the above aspects bring challenges to extracting discriminative global descriptors. To mitigate these problems, we propose a novel method named TransLoc3D, utilizing adaptive receptive fields with a point-wise reweighting scheme to handle objects of different sizes while suppressing noises, and an external transformer to capture long-range feature dependencies. As opposed to existing architectures which adopt fixed and limited receptive fields, our method benefits from size-adaptive receptive fields as well as global contextual information, and outperforms current state-of-the-arts with significant improvements on popular datasets.

연구 동기 및 목표

• 외부 3D 환경에서 객체의 크기 변화가 큰 경우 고정된 수신장을 처리하는 데서 비롯하는 한계를 해결하기 위해.
• 보행자와 같은 이동 객체에서 유도되는 불필요한 특징이 특징 품질을 떨어뜨리는 것을 억제하기 위해.
• 포인트 클라우드 내에서 장거리 맥락적 의존성을 캡처함으로써 글로벌 디스크립터 표현을 향상시키기 위해.
• 복잡한 환경에서 대규모 장소 인식을 위한 글로벌 디스크립터의 구별 능력을 향상시키기 위해.
• 기존 방법들을 능가하는 표준 벤치마크에서의 성능을 보이는 강건한 아키텍처를 개발하기 위해.

제안 방법

• 해당 방법은 원시 포인트 클라우드를 처리하고 저수준 기하학적 특징을 추출하기 위해 희소 바이얼라이제이션과 3D 희소 컨벌루션을 활용한다.
• 새로운 적응형 수신장 모듈은 학습된 어텐션 맵을 통한 점별 재가중을 이용해 다중 척도 특징을 융합하고 객체 크기에 맞게 조정한다.
• 아키텍처는 포인트 클라우드 전반의 장거리 공간적 의존성을 모델링하기 위해 외부 트랜스포머 모듈을 통합한다.
• 글로벌 디스크립터는 NetVLAD를 사용하여 점별 특징을 압축된, 구별 능력 있는 표현으로 집계한다.
• 네트워크는 두 개의 3D 희소 컨벌루션 레이어를 사용한다: 초기 대역폭 집합을 위한 5×5×5 커널과 공간 해상도를 감소시키기 위한 2×2×2 커널, 스트라이드 2.
• 각 컨벌루션 레이어 이후 배치 정규화와 ReLU를 적용하여 학습 안정성 향상과 비선형성 강화를 도모한다.

실험 결과

연구 질문

• RQ1 크기 변화가 큰 상황에서 적응형 수신장이 포인트 클라우드 기반 장소 인식의 특징 표현에 기여하는가?
• RQ2 다중 척도 특징의 점별 재가중이 이동 객체에서 유도되는 노이즈에 대해 얼마나 강건한가?
• RQ3 외부 트랜스포머 모듈이 장거리 의존성을 모델링함으로써 글로벌 디스크립터 품질을 어느 정도 향상시키는가?
• RQ4 적응형 수신장과 트랜스포머 아키텍처를 결합하면 고정 수신장 또는 비트랜스포머 기반 베이스라인에 비해 성능 향상이 이루어지는가?
• RQ5 확장 컨벌루션은 3D 포인트 클라우드 처리에서 희소 특징 맵에 적합한가, 아니면 성능 저하를 초래하는가?

주요 결과

• TransLoc3D는 Oxford RobotCar, B.D., U.S., R.A. 데이터셋을 포함한 네 가지 주요 벤치마크에서 최신 기술 수준의 평균 리콜 성능을 달성한다.
• 절단 실험을 통해 확장 컨벌루션은 희소 특징 맵에서 성능을 떨어뜨리며, 전통적 컨벌루션보다 특징 집합에서 떨어지는 것으로 확인되었다.
• 6개의 어텐션 레이어를 가진 외부 트랜스포머가 최적의 성능을 내며, 6개를 초과해 레이어를 늘려도 성능 향상이 미미하여 하이퍼파rameter 선택에 대한 강건성을 시사한다.
• 정성적 시각화 결과 TransLoc3D는 가림, 시점 변화와 같은 도전적인 조건에서도 정확한 매칭을 올바르게 복구함을 보여준다.
• 점별 재가중 기법은 불필요한 이동 객체에서 오는 노이즈를 효과적으로 억제하면서도 주목할 만한 구조적 요소의 특징을 강화한다.
• 적응형 수신장 메커니즘은 작은 객체의 세밀한 세부 정보와 큰 객체의 전체 구조를 모두 성공적으로 캡처하여 디스크립터의 구별 능력을 향상시킨다.