[논문 리뷰] PREDATOR: Registration of 3D Point Clouds with Low Overlap

Shengyu Huang, Žan Gojčič외 3명|arXiv (Cornell University)|2020. 11. 25.

3D Shape Modeling and Analysis참고 문헌 54인용 수 9

한 줄 요약

Predator는 3D 포인트 클라우드 정합을 위한 딥러닝 모델로, 낮은 오버랩 스캔 간에 겹치는 영역에 집중하는 오버랩 어텐션 메커니즘을 사용하여 특징 점 선택과 매칭을 향상시킵니다. 3DMatch 벤치마크에서 90.6%의 정합 재현율을 달성하며, 낮은 오버랩 조건에서 성공률을 15% 이상 향상시킵니다.

ABSTRACT

We introduce PREDATOR, a model for pairwise point-cloud registration with deep attention to the overlap region. Different from previous work, our model is specifically designed to handle (also) point-cloud pairs with low overlap. Its key novelty is an overlap-attention block for early information exchange between the latent encodings of the two point clouds. In this way the subsequent decoding of the latent representations into per-point features is conditioned on the respective other point cloud, and thus can predict which points are not only salient, but also lie in the overlap region between the two point clouds. The ability to focus on points that are relevant for matching greatly improves performance: PREDATOR raises the rate of successful registrations by more than 20% in the low-overlap scenario, and also sets a new state of the art for the 3DMatch benchmark with 89% registration recall.

연구 동기 및 목표

• 스캔 간 오버랩이 30% 이하로 떨어질 경우 기존 3D 포인트 클라우드 정합 방법의 낮은 내성적 안정성 문제를 해결하기 위해.
• 기존 최신 기술 방법들이 표준 벤치마크에서 뛰어난 성능을 보이지만 낮은 오버랩 환경에서는 실패하는 이유를 규명하기 위해.
• 특징 학습 과정에서 두 포인트 클라우드 간 오버랩 영역을 명시적으로 모델링하고 집중하는 신경망 아키텍처를 개발하기 위해.
• 크로스 클라우드 컨텍스트를 조건으로 하여 주목할 만한 오버랩 영역의 점들을 우선시함으로써 특징 점 샘플링을 향상시키기 위해.
• 관심 점의 재현성과 분류 능력을 향상시키기 위한 매칭 가능성 스코어를 훈련시키는 데 사용할 수 있는 새로운 손실 함수 도입하기 위해.

제안 방법

• 바이트라이즈된 입력 포인트 클라우드에서 슈퍼포인트 수준의 잠재 특징을 추출하기 위해 시아미즈 인코더를 사용합니다.
• 두 포인트 클라우드의 잠재 표현 간에 자기 어텐션과 크로스 어텐션을 적용하는 오버랩 어텐션 블록을 도입합니다.
• 오버랩 어텐션 모듈을 통해 오버랩 스코어와 크로스 오버랩 스코어를 생성하여 조기 컨텍스트 교환을 가능하게 합니다.
• 잠재 특징과 오버랩 인식 표현을 조건으로 하여 디코더를 구성하여 각 포인트의 특징 서술자를 생성합니다.
• 관심 점 선택을 이끄는 데 도움이 되는 매칭 가능성 스코어를 최적화하는 데 목적이 있는 새로운 손실 함수로 모델을 훈련시킵니다.
• 다른 포인트 클라우드의 표현을 조건으로 하여 특징 서술자를 정밀하게 조정함으로써 낮은 오버랩에 대한 강건성을 향상시킵니다.

Figure 1: Predator is designed to focus attention on the overlap region, and to prefer salient points in that region, so as to enable robust registration in spite of low overlap.

실험 결과

연구 질문

• RQ1 기존 최신 기술 3D 포인트 클라우드 정합 방법들이 표준 벤치마크에서 뛰어난 성능을 보이지만 낮은 오버랩 조건에서는 실패하는 이유는 무엇인가요?
• RQ2 포인트 클라우드 인코딩 간의 조기 크로스 어텐션은 낮은 오버랩 환경에서 정합의 강건성을 향상시킬 수 있나요?
• RQ3 특징 점 샘플링을 오버랩 영역에 집중시키는 것이 정합 성공률을 크게 향상시킬 수 있나요?
• RQ4 오버랩을 모델링하는 학습 가능한 어텐션 메커니즘이 특징 서술자 품질과 매칭 가능성 향상에 기여할 수 있나요?
• RQ5 제안된 방법은 낮은 오버랩 및 실제 환경 설정에서 직접 정합 및 특징 기반 방법과 비교해 어떻게 성능을 내나요?

주요 결과

• Predator는 기존 방법 대비 낮은 오버랩 환경에서 정합 재현율을 15% 이상 향상시킵니다.
• 3DMatch 벤치마크에서 90.6%의 정합 재현율을 기록하며 새로운 최신 기술 성능을 달성했습니다.
• 오버랩 어텐션 메커니즘이 오버랩 영역에서 샘플링된 점의 비율을 크게 향상시켜 낮은 오버랩 설정에서 실패율을 40% 이상 감소시켰습니다.
• ModelNet 및 ModelLoNet 데이터셋에서 DCP-v2와 RPM-Net을 모두 압도하며, 특히 낮은 오버랩 환경에서 더 낮은 회전 및 변위 오차를 기록했습니다.
• 오버랩 어텐션(om 확률)을 사용한 점 샘플링은 무작위 샘플링보다 유의미하게 뛰어난 성능을 보였으며, 40% 완전도에서 RRE를 약 8° 감소시켰습니다.
• KITTI 오도메트리 데이터셋에서 Predator는 최신 기술 방법과 유사한 성능을 기록했으며, 99.8%의 정합 재현율과 6.8cm의 평균 변위 오차를 기록했습니다.

Figure 2: Registration with SoTA methods deteriorates rapidly for pairs with $<$ 30% overlap ( left ). By increasing the fraction of points sampled in the overlap region, many failures can be avoided as shown here for FCGF [ 9 ] ( right ).