[논문 리뷰] Lepard: Learning partial point cloud matching in rigid and deformable scenes

Yang Li, Tatsuya Harada|arXiv (Cornell University)|2021. 11. 24.

3D Shape Modeling and Analysis인용 수 4

한 줄 요약

Lepard는 점군의 특징 표현과 3D 위치 표현을 분리하여, 도트곱 기반의 위치 인코딩과 재위치 조정 모듈을 사용함으로써 강성 및 비강성 시나리오에서 부분 점군 매칭을 위한 학습 기반 방법을 제안한다. 이는 3DMatch에서 SOTA 등재 재현율 93.9%와 3DLoMatch에서 71.3%를 달성하며, 새로운 4DMatch 및 4DLoMatch 벤치마크에서 비강성 매칭 재현율이 각각 +27.1% 및 +34.8% 향상된다.

ABSTRACT

We present Lepard, a Learning based approach for partial point cloud matching in rigid and deformable scenes. The key characteristics are the following techniques that exploit 3D positional knowledge for point cloud matching: 1) An architecture that disentangles point cloud representation into feature space and 3D position space. 2) A position encoding method that explicitly reveals 3D relative distance information through the dot product of vectors. 3) A repositioning technique that modifies the crosspoint-cloud relative positions. Ablation studies demonstrate the effectiveness of the above techniques. In rigid cases, Lepard combined with RANSAC and ICP demonstrates state-of-the-art registration recall of 93.9% / 71.3% on the 3DMatch / 3DLoMatch. In deformable cases, Lepard achieves +27.1% / +34.8% higher non-rigid feature matching recall than the prior art on our newly constructed 4DMatch / 4DLoMatch benchmark.

연구 동기 및 목표

• 반복적인 기하 패턴을 가진 시나리오에서 특징 매칭의 모호성을 해결하기 위해 3D 위치 지식을 통합한다.
• 특히 음영과 비강성 변형이 있는 비강성 시나리오에서 부분적이고 겹침이 적은 점군 매칭에 대한 강건성을 향상시킨다.
• 강성 및 비강성 점군 매칭에 모두 잘 작동하는 통합 아키텍처를 개발한다.
• 실제 동적 조건을 반영한 비강성 점군 매칭 평가를 위해 새로운 벤치마크인 4DMatch와 그 저겹침 변형인 4DLoMatch를 제안한다.
• 학습 가능한 기반의 가분성 있는 구성 요소를 통해 번역 불변 신경망의 한계를 극복하고 상대적인 3D 위치를 명시적으로 모델링한다.

제안 방법

• 기하적 특징와 공간적 맥락을 분리하기 위해 점군 표현을 별개의 특징 공간과 3D 위치 공간으로 분리한다.
• 3D 벡터 표현의 도트곱을 통해 상대적인 3D 거리 정보를 계산하는 위치 인코딩 방법을 도입한다.
• 교차 점군 간의 상대적 위치를 조정하여 주의 메커니즘과 가분성 있는 매칭 성능을 향상시키는 재위치 조정 모듈을 적용한다.
• 자기 및 교차 주의 메커니즘을 갖춘 트랜스포머 기반 아키텍처를 사용하여 맥락을 통합하고 대응 관계를 예측한다.
• Sinkhorn 정규화를 활용한 가분성 있는 매칭을 통해 대응 예측의 엔드 투 엔드 최적화를 가능하게 한다.
• 강성 정렬을 위해 RANSAC과 ICP에 예측을 통합하고, 비강성 정렬을 위해 비강성 ICP(N-ICP)에 통합한다.

실험 결과

연구 질문

• RQ1 명시적인 3D 상대 위치 정보 모델링이 부분적이고 겹침이 있는 점군에서 특징 매칭에 기여하는가?
• RQ2 특징과 위치 표현을 분리하는 것이 강성 및 비강성 시나리오에서 매칭 정확도에 어떤 영향을 미치는가?
• RQ3 통합 아키텍처가 강성 및 비강성 점군 매칭 벤치마크에서 이전 방법들을 초월할 수 있는 정도는 어느 정도인가?
• RQ4 낮은 겹침 및 음영 조건에서 제안된 방법은 SOTA 접근법에 비해 어떻게 성능을 발휘하는가?
• RQ5 학습 가능한 재위치 조정 모듈이 점군 대응 학습에서 교차 주의 및 가분성 있는 매칭을 향상시키는가?

주요 결과

• Lepard는 RANSAC과 ICP를 조합했을 때 3DMatch에서 93.9%의 정렬 재현율과 3DLoMatch에서 71.3%의 재현율을 달성하여 이전 방법들을 능가한다.
• 새로운 4DMatch 벤치마크에서 Lepard는 이전 기술 대비 비강성 특징 매칭 재현율이 27.1% 높게 나타났다.
• 4DLoMatch 벤치마크에서 Lepard는 SOTA 대비 비강성 매칭 재현율을 34.8% 향상시켰다.
• 절단 실험 결과, 재위치 조정 모듈과 위치 인코딩 방법이 특히 겹침이 적은 상황에서 성능 향상에 기여하는 것으로 확인되었다.
• ICP 정렬 후 3DMatch에서 RRE와 RTE 지표에서 Predator를 모두 능가했으며, 각각 1.96°와 6.0 cm를 기록했다.
• 겹침이 적은 설정에서의 실패 사례는 비겹치는 영역에 유사한 기하 패턴이 존재할 경우 지속되며, 향후 연구 과제로 남아 있다.