[논문 리뷰] Rotation-Invariant Transformer for Point Cloud Matching

Hao Yu, Zheng Qin외 5명|arXiv (Cornell University)|2023. 03. 14.

Image Processing and 3D Reconstruction인용 수 4

한 줄 요약

RoITr는 자체 주의 메커니즘에 포인트 페어 특징(PPF)을 통합하여 내재된 자세 무관 기하 구조 인코딩을 달성하는 회전 불변 트랜스포머를 제안한다. 이는 순차적 주의 기반 인코더-디코더 아키텍처와 함께 회전 불변 전역 크로스프레임 공간 인식 기능을 제공하며, 대량의 회전 조건에서 3DLoMatch 벤치마크에서 정점 비율(Inlier Ratio)과 레지istration 리콜(Registration Recall) 측면에서 SOTA 기법보다 13–5个百分点 향상된다.

ABSTRACT

The intrinsic rotation invariance lies at the core of matching point clouds with handcrafted descriptors. However, it is widely despised by recent deep matchers that obtain the rotation invariance extrinsically via data augmentation. As the finite number of augmented rotations can never span the continuous SO(3) space, these methods usually show instability when facing rotations that are rarely seen. To this end, we introduce RoITr, a Rotation-Invariant Transformer to cope with the pose variations in the point cloud matching task. We contribute both on the local and global levels. Starting from the local level, we introduce an attention mechanism embedded with Point Pair Feature (PPF)-based coordinates to describe the pose-invariant geometry, upon which a novel attention-based encoder-decoder architecture is constructed. We further propose a global transformer with rotation-invariant cross-frame spatial awareness learned by the self-attention mechanism, which significantly improves the feature distinctiveness and makes the model robust with respect to the low overlap. Experiments are conducted on both the rigid and non-rigid public benchmarks, where RoITr outperforms all the state-of-the-art models by a considerable margin in the low-overlapping scenarios. Especially when the rotations are enlarged on the challenging 3DLoMatch benchmark, RoITr surpasses the existing methods by at least 13 and 5 percentage points in terms of Inlier Ratio and Registration Recall, respectively.

연구 동기 및 목표

• 외부 데이터 증강에 의존하지 않고도 새로운 회전 조건에서 깊이 있는 포인트 클라우드 매칭기의 불안정성 문제를 해결한다.
• 자세에 의존하지 않는 회전 불변 국소 기하 구조 인코딩을 달성하기 위해 자세 증강 학습에 의존하지 않는다.
• 회전 불변 방식으로 프레임 간 공간 관계를 모델링하여 특징의 구별성 향상을 도모한다.
• 새로운 전역 트랜스포머 설계를 통해 저중첩 및 비정형 매칭 시나리오에서의 강건성을 향상시킨다.
• 기존 방법들이 전역 맥락을 상실하거나 복잡한 공간 관계를 효과적으로 모델링하지 못하는 한계를 극복한다.

제안 방법

• PPF 유도 좌표를 사용해 자세에 영향을 받지 않는 국소 기하를 인코딩하는 PPF 기반 주의 메커니즘(PPF 주의 메커니즘, PAM)을 도입한다.
• 계층적이고 회전 불변의 특징 학습을 위한 주의 기반 인코더-디코더 아키텍처(PPFTrans)를 설계하며, 주의 추상화 레이어(AAL), PPF 주의 레이어(PAL), 전이 업 레이어(TUL)를 포함한다.
• 자기 주의를 사용해 포인트 클라우드 간 상대적 위치를 자세 의존 없이 모델링하는, 회전 불변 전역 크로스프레임 공간 인식 기능을 갖춘 전역 트랜스포머를 제안한다.
• 전역 트랜스포머를 통합하여 프레임 간 장거리 공간 의존성을 캡처함으로써 특징의 구별성을 향상시킨다.
• 대응 매칭 최적화를 위해 대비 손실을 사용해 엔드 투 엔드로 훈련하며, 내재된 불변성 덕분에 데이터 증강에 대한 의존도를 감소시킨다.
• 기하학적 구조를 유지하면서 특징을 집계하기 위해 학습 가능한 주의를 활용한 다중 스케일 추상화 전략을 사용한다.

실험 결과

연구 질문

• RQ1 PPF 기반 좌표를 사용하는 자기 주의 메커니즘은 국소 포인트 클라우드 기하 구조 인코딩에서 내재된 회전 불변성을 달성할 수 있는가?
• RQ2 주의 기반 인코더-디코더 아키텍처는 포인트넷 또는 KPConv에 비해 대표성 있고 자세에 무관한 국소 특징을 얼마나 잘 학습하는가?
• RQ3 회전 불변 전역 크로스프레임 공간 인식은 특징의 구별성과 매칭 강건성에 얼마나 기여하는가?
• RQ4 RoITr는 극한의 회전과 저중첩 조건에서 데이터 증강 기반 SOTA 기법에 비해 어떻게 성능을 내는가?
• RQ5 전역 트랜스포머의 깊이와 아키텍처는 포인트 클라우드 매칭에서 성능과 일반화에 어떤 영향을 미치는가?

주요 결과

• RoITr는 기울인 3DLoMatch에서 89.6%의 특징 매칭 리콜(FMR)과 53.2%의 레지스트레이션 리콜(RR)을 달성하여, 다음으로 우수한 방법보다 최소 5个百分点 높은 RR 성능을 기록한다.
• 대량의 회전 조건이 적용된 3DLoMatch 벤치마크에서 RoITr는 가장 강력한 베이스라인 대비 정점 비율(Inlier Ratio)을 13个百分点 향상시켰다.
• 절단 실험 결과, PPF 기반 주의 메커니즘이 정확도와 효율성 측면에서 최대/평균 풀링 및 PointTransformer의 주의 방식보다 뚜렷이 뛰어나다는 것이 확인되었다.
• 회전 불변 공간 인식 기능을 갖춘 전역 트랜스포머는 이를 갖지 못한 GeoTrans 대비 성능을 2.5–3.5% 향상시켰다.
• 세 개를 초과하는 전역 트랜스포머의 수를 늘일 경우 과적합으로 인해 성능 저하가 발생함에 따라 일반화에 최적의 깊이가 존재함을 시사한다.
• 파rameter 수를 정규화한 조건에서도 RoITr는 PointTransformer 및 KPConv 기반 베이스라인에 비해 뛰어난 성능을 유지하며, 더 높은 파라미터 효율성을 보였다.