[논문 리뷰] StickyPillars: Robust feature matching on point clouds using Graph Neural Networks

Martín Simón, Kai Fischer외 3명|arXiv (Cornell University)|2020. 02. 10.

Robotics and Sensor-Based Localization참고 문헌 30인용 수 6

한 줄 요약

StickyPillars는 희박한 3D 키포인트 주변의 맥락을 집약하기 위해 트랜스포머 기반의 자기 및 크로스 어텐션을 사용하는 그래프 신경망을 활용하여 빠르고 정확하며 강건한 3D 특징 매칭 방법을 제안한다. 특징 매칭을 최적 운반 문제로 공식화하여 KITTI에서 최신 기술 수준의 정확도를 달성하며, 선도적인 딥러닝 방법보다 4배 빠르며, 프레임 손실과 고속 주행 조건에서도 안정성을 유지한다.

ABSTRACT

Robust point cloud registration in real-time is an important prerequisite for many mapping and localization algorithms. Traditional methods like ICP tend to fail without good initialization, insufficient overlap or in the presence of dynamic objects. Modern deep learning based registration approaches present much better results, but suffer from a heavy run-time. We overcome these drawbacks by introducing StickyPillars, a fast, accurate and extremely robust deep middle-end 3D feature matching method on point clouds. It uses graph neural networks and performs context aggregation on sparse 3D key-points with the aid of transformer based multi-head self and cross-attention. The network output is used as the cost for an optimal transport problem whose solution yields the final matching probabilities. The system does not rely on hand crafted feature descriptors or heuristic matching strategies. We present state-of-art art accuracy results on the registration problem demonstrated on the KITTI dataset while being four times faster then leading deep methods. Furthermore, we integrate our matching system into a LiDAR odometry pipeline yielding most accurate results on the KITTI odometry dataset. Finally, we demonstrate robustness on KITTI odometry. Our method remains stable in accuracy where state-of-the-art procedures fail on frame drops and higher speeds.

연구 동기 및 목표

• 기존의 ICP 및 딥러닝 기반 정렬 방법의 한계를 해결하기 위해, 좋은 초기화 없이 실패하거나 높은 런타임을 유발하거나 동적 조건에서 성능이 저하되는 문제를 해결하고자 한다.
• 수작업으로 만든 디스크립터나 히우리스틱 매칭 전략에 의존하지 않는 강력하고 실시간 동작이 가능한 3D 포인트 클라우드용 중간 처리 특징 매칭 시스템을 개발하고자 한다.
• 전체 파이프라인에 새로운 특징 매칭 모듈을 통합하여 라이다 오도메트리의 정확성과 효율성을 향상시키고자 한다.
• 프레임 손실과 고속 운동과 같은 도전적인 조건에서도 안정성을 확보하고자 한다. 기존 최신 기술 수준의 방법들이 실패하는 상황에서도 성능을 유지한다.

제안 방법

• 이 방법은 포인트 클라우드에서 추출한 희박한 3D 키포인트에 대해 맥락 집약을 수행하기 위해 그래프 신경망을 활용한다.
• 장거리 의존성과 키포인트 간의 관계를 모델링하기 위해 트랜스포머 기반의 멀티헤드 자기어텐션과 크로스어텐션을 사용한다.
• 네트워크의 출력은 최적 운반 문제의 비용 행렬로 사용되어 최종 매칭 확률을 계산한다.
• 수작업으로 만든 디스크립터나 히우리스틱 매칭 전략을 피하기 위해, 미분 가능한 운반을 통한 엔드 투 엔드 특징 표현 학습과 매칭을 학습한다.
• 효율성에 초점을 맞춘 아키텍처 설계를 통해 대규모 3D 데이터에서 실시간 추론을 가능하게 한다.
• 실세계 시퀀스에서 성능을 평가하기 위해 라이다 오도메트리 파이프라인에 통합한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 특징 매칭 방법이 3D 포인트 클라우드 정렬에서 높은 정확도와 실시간 성능을 동시에 달성할 수 있는가?
• RQ2 제안된 어텐션 강화 그래프 신경망은 나쁜 초기화 또는 낮은 겹침 비율 조건에서 기존 방법과 비교해 어떤가?
• RQ3 최적 운반 공식화가 히우리스틱 매칭 전략에 비해 매칭 신뢰도를 얼마나 향상시키는가?
• RQ4 실세계 라이다 시퀀스에서 프레임 손실과 고속 운동과 같은 도전적인 조건에서도 정확도를 유지할 수 있는가?

주요 결과

• StickyPillars는 KITTI 포인트 클라우드 정렬 벤치마크에서 최신 기술 수준의 정확도를 달성한다.
• 선도적인 딥러닝 기반 정렬 방법보다 4배 빠르게 작동하면서도 뛰어난 정확도를 유지한다.
• 라이다 오도메트리 파이프라인에 통합된 결과, KITTI 오도메트리 데이터셋에서 가장 정확한 결과를 도출한다.
• 프레임 손실과 고속 운동 조건에서도 기존 최신 기술 수준의 방법들이 실패하는 상황에서도 안정적이고 정확하게 작동한다.
• 자기어텐션과 크로스어텐션을 갖춘 그래프 신경망을 사용함으로써 수작업 특징에 의존하지 않고 강력한 맥락 집약이 가능하다.
• 최적 운반 공식화가 학습된 특징 비용에서 신뢰할 수 있는 매칭 확률을 효과적으로 계산한다.