[논문 리뷰] Learning Multiview 3D Point Cloud Registration

Žan Gojčič, Caifa Zhou외 3명|arXiv (Cornell University)|2020. 01. 01.

3D Shape Modeling and Analysis참고 문헌 70인용 수 12

한 줄 요약

이 논문은 다중 시점 3D 포인트 클라우드 정렬을 위한 최초의 엔드 투 엔드, 미분 가능한 딥러닝 프레임워크를 제안하며, 미분 가능한 프로크루스테스 솔버와 스펙트럴 리아케이션을 통해 이중 정렬과 글로벌 동기화를 동시에 최적화한다. 새로운 신뢰도 추정 블록과 반복 가중 최소 제곱법 정렬을 통해 60개 스캔 씬에서 RANSAC 기반 방법 대비 25% 이상의 회전 오차 향상과 13배 이상의 속도 향상을 달성한다.

ABSTRACT

We present a novel, end-to-end learnable, multiview 3D point cloud registration algorithm. Registration of multiple scans typically follows a two-stage pipeline: the initial pairwise alignment and the globally consistent refinement. The former is often ambiguous due to the low overlap of neighboring point clouds, symmetries and repetitive scene parts. Therefore, the latter global refinement aims at establishing the cyclic consistency across multiple scans and helps in resolving the ambiguous cases. In this paper we propose, to the best of our knowledge, the first end-to-end algorithm for joint learning of both parts of this two-stage problem. Experimental evaluation on well accepted benchmark datasets shows that our approach outperforms the state-of-the-art by a significant margin, while being end-to-end trainable and computationally less costly. Moreover, we present detailed analysis and an ablation study that validate the novel components of our approach. The source code and pretrained models are publicly available under https://github.com/zgojcic/3D_multiview_reg.

연구 동기 및 목표

• 기존의 두 단계로 나누어지는 3D 포인트 클라우드 정렬 파이프라인의 한계를 해결하기 위해 오차 전파 문제와 글로벌 일관성 부족을 해결한다.
• 별도의 비미분 가능한 글로벌 정렬 단계가 필요 없도록 엔드 투 엔드로 미분 가능한 방식으로 이중 정렬과 글로벌 정렬을 함께 학습한다.
• 저중첩, 대칭성 또는 반복적인 시나리오에서의 정확성과 강건성을 향상시키기 위해 국소 최적화와 글로벌 최적화 간의 반복 피드백을 활용한다.
• 중간 표현(예: 깊이 이미지) 없이 포인트 클라우드에 직접 작용하는 계산적으로 효율적인 완전히 미분 가능한 정렬 프레임워크를 개발한다.

제안 방법

• 미분 가능한 이중 정렬 블록을 도입하여, 미분 가능한 프로크루스테스 솔버를 통해 변환 매개변수를 추정함으로써 정렬 과정을 통해 역전파가 가능하도록 한다.
• 학습 가능한 오버랩 풀링 레이어를 갖춘 새로운 신뢰도 추정 블록을 도입하여 이중 매칭의 신뢰도 점수를 예측한다.
• 변환 동기화를 위한 미분 가능한 스펙트럴 리아케이션 레이어를 활용하여, 학습 가능한 엣지 가중치를 갖는 포즈 그래프의 글로벌 최적화를 가능하게 한다.
• 반복 가중 최소 제곱법(IRLS) 기반의 반복적 정렬 기법을 적용하여 잔차를 네트워크로 다시 피드백함으로써 이중 및 절대 변환을 정밀하게 개선한다.
• 예측된 신뢰도 점수에 기반한 엣지 제거 메커니즘을 도입하여 최적화 과정 중 저신뢰도 엣지를 동적으로 제거한다.
• 이중 네트워크, 신뢰도 헤드, 동기화 레이어를 하나의 미분 가능한 계산 그래프로 조합함으로써 엔드 투 엔드 학습을 구현한다.

실험 결과

연구 질문

• RQ1 완전히 엔드 투 엔드로 딥러닝 프레임워크를 통해 이중 정렬과 글로벌 정렬을 동시에 최적화할 수 있는가? 이는 별도의 비미분 가능한 정렬 단계가 필요 없도록 하는가?
• RQ2 국소 이중 추정치와 글로벌 동기화 간의 반복 피드백은 특히 모호하거나 중첩이 적은 상황에서 정렬 정확도를 어떻게 향상시키는가?
• RQ3 학습 가능한 신뢰도 추정 블록은 고정 또는 히우리스틱 가중치 방식에 비해 이상치나 노이즈가 많은 초기 매칭에 대해 얼마나 더 강건한가?
• RQ4 프로크루스테스 및 스펙트럴 리아케이션과 같은 미분 가능한 최적화 레이어의 영향은 다중 시점 정렬에서 수렴성과 성능에 어떤 영향을 미치는가?
• RQ5 RANSAC 기반 및 다른 최신 기술 대비 이 방법은 속도와 정확도에서 어떻게 비교되는가?

주요 결과

• 제안된 방법은 3DMatch 벤치마크에서 SOTA 대비 평균 25.3%포인트의 회전 오차 향상을 달성하여 기존 방법들을 크게 능가한다.
• RANSAC 기반 파이프라인 대비 13배 이상 빠른 속도를 기록하여, 60개 스캔을 포함하는 부엌 씬의 정렬을 약 80초 만에 완료한 반면, RANSAC는 1100초 이상 소요된다.
• 네 번의 반복 후 반복 가중치 조정 기법을 통해 이중 변환 추정치의 재현율이 초기 추정치 대비 약 2%포인트 향상된다.
• 오버랩 풀링을 갖춘 신뢰도 추정 블록은 대안적 엣지 제거 전략 대비 성능 향상이 20%포인트 이상으로 나타나 강건성 확보에 핵심적인 역할을 한다.
• 제안된 방법은 새로운 시나리오에 대해 더 우수한 일반화 성능을 보이며, Redwood 실내 데이터셋에서 SOTA 대비 재현율이 4%포인트 높게 기록된다.
• 제거 실험 결과, 신뢰도 기반 엣지 제거와 반복 정밀 조정이 최적 성능을 내기 위해 필수적임을 확인하였으며, 이 중 하나를 제거할 경우 성능 저하가 심각하게 발생한다.