[논문 리뷰] StickyPillars: Robust and Efficient Feature Matching on Point Clouds using Graph Neural Networks

Kai Fischer, Martín Simón외 4명|arXiv (Cornell University)|2020. 02. 10.

Robotics and Sensor-Based Localization참고 문헌 63인용 수 7

한 줄 요약

StickyPillars는 그래프 신경망과 트랜스포머 기반의 자기 및 크로스 어텐션을 사용하여 맥락적 특징 집약을 수행한 후 최적 운반 이론을 통해 특징 매칭을 수행하는 빠르고 강력하며 정확한 3D 특징 매칭 방법을 제안한다. 이는 KITTI 데이터셋에서 최신 기술 수준의 정확도를 달성하면서도 기존 최고 수준의 딥러닝 방법보다 4배 빠르며, 프레임 손실 및 고속 주행 조건에서도 높은 안정성을 유지한다.

ABSTRACT

Robust point cloud registration in real-time is an important prerequisite for many mapping and localization algorithms. Traditional methods like ICP tend to fail without good initialization, insufficient overlap or in the presence of dynamic objects. Modern deep learning based registration approaches present much better results, but suffer from a heavy run-time. We overcome these drawbacks by introducing StickyPillars, a fast, accurate and extremely robust deep middle-end 3D feature matching method on point clouds. It uses graph neural networks and performs context aggregation on sparse 3D key-points with the aid of transformer based multi-head self and cross-attention. The network output is used as the cost for an optimal transport problem whose solution yields the final matching probabilities. The system does not rely on hand crafted feature descriptors or heuristic matching strategies. We present state-of-art art accuracy results on the registration problem demonstrated on the KITTI dataset while being four times faster then leading deep methods. Furthermore, we integrate our matching system into a LiDAR odometry pipeline yielding most accurate results on the KITTI odometry dataset. Finally, we demonstrate robustness on KITTI odometry. Our method remains stable in accuracy where state-of-the-art procedures fail on frame drops and higher speeds.

연구 동기 및 목표

• 나쁜 초기화, 낮은 겹침 비율 또는 동적인 환경 조건에서 전통적인 ICP 및 히وري스틱 기반 방법의 한계를 해결한다.
• 기존 딥러닝 기반 정렬 방법의 높은 추론 지연을 극복하면서 정확도를 유지하거나 향상시킨다.
• 실제 환경에서의 도전 조건(예: 프레임 손실, 고속 운동)에 강건한 딥러닝 기반 중간 단계 특징 매칭 시스템을 개발한다.
• 매칭 시스템을 LiDAR 온도미터 파이프라인에 통합하여 전체 위치 추정 정확도와 안정성을 향상시킨다.
• 어텐션과 최적 운반 이론을 통해 특징 대응 관계를 엔드 투 엔드로 학습하는 것이 수작업으로 만든 디스크립터와 히وري스틱 매칭을 능가할 수 있음을 입증한다.

제안 방법

• 포인트 클라우드에서 희소 3D 키포인트 특징을 인코딩하기 위해 그래프 신경망(GNN)을 사용하여 국소 및 글로벌 맥락 집약을 가능하게 한다.
• 다중 헤드 자기어텐션 및 크로스어텐션 메커니즘을 적용하여 장거리 의존성 모델링 및 키포인트 이웃 영역 간의 특징 구별 능력을 향상시킨다.
• 특징 매칭 문제를 최적 운반 이론(OT) 문제로 공식화하여, GNN 출력을 확률적 대응을 계산하기 위한 비용 행렬로 사용한다.
• 수작업으로 만든 디스크립터나 후처리 히وري스틱에 의존하지 않고, 미분 가능한 OT를 통해 엔드 투 엔드로 특징 매칭을 학습한다.
• 세 단계 파이프라인 설계: 포인트 클라우드 인코더 → 어텐션 기반 그래프 네트워크 → 최적 운반 기반 매칭.
• 매칭 모듈을 LiDAR 온도미터 시스템에 통합하여 KITTI 벤치마크에서 실시간 정확한 자세 추정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 학습 가능한 어텐션 기반 그래프 신경망이 기존의 또는 히وري스틱 기반 방법에 비해 포인트 클라우드 정렬에서 특징 매칭의 강건성을 향상시킬 수 있는가?
• RQ2 GNN 기반 특징 매칭 시스템은 실제 3D 정렬 벤치마크에서 정확도를 유지하거나 향상시키면서도 런타임을 얼마나 줄일 수 있는가?
• RQ3 프레임 손실, 고속 운동 또는 포인트 클라우드 간 겹침 비율이 낮은 조건에서 제안된 방법은 어떻게 성능을 발휘하는가?
• RQ4 학습된 GNN 특징과 최적 운반 이론을 통합함으로써 기존 딥러닝 기반 정렬 방법보다 정확도와 효율성 면에서 뛰어난 성능을 낼 수 있는가?
• RQ5 StickyPillars의 어텐션 기반 맥락 집약은 다이나믹하거나 혼잡한 환경에서 더 신뢰성 있고 안정적인 대응 관계를 제공하는가?

주요 결과

• StickyPillars는 KITTI 온도미터 데이터셋에서 최신 기술 수준의 정확도를 달성하였으며, 회전 오차(r_rel)에서는 선도적인 방법들을 능가하고, 평행 이동 오차(t_rel)에서는 최고 성능를 기록했다.
• 현재 선도적인 딥러닝 기반 정렬 방법보다 4배 빠르게 작동하여 10–15 Hz LiDAR 센서에서 실시간 성능를 확보했다.
• 프레임 손실 상황(예: 매 5번째 프레임)에서도 높은 정확도와 안정성을 유지하였으며, 평균 회전 오차는 0.84°, 평행 이동 오차는 0.30m를 기록하여 A-LOAM보다 훨씬 뛰어난 성능를 보였다.
• LiDAR 온도미터 파이프라인에 통합된 결과, 평균 회전 오차는 0.82°로 감소하고 평행 이동 오차는 0.30m로 유지되어 A-LOAM 및 기타 최신 기술 수준의 방법들을 초월했다.
• 고속 주행 조건과 낮은 겹침 비율에서도 강건성을 보이며, 기존 방법들이 불안정성으로 인해 실패하는 상황에서도 정확한 자세 추정을 유지했다.
• 아블레이션 연구를 통해 GNN과 자기어텐션, 크로스어텐션, 최적 운반 이론의 조합이 기준 아키텍처 및 손실 함수에 비해 열등한 매칭 품질을 제공하는 것으로 확인되었다.