[논문 리뷰] DeepGMR: Learning Latent Gaussian Mixture Models for Registration

Wentao Yuan, B. Eckart외 4명|arXiv (Cornell University)|2020. 08. 20.

3D Shape Modeling and AnalysisEngineering참고 문헌 46인용 수 16

한 줄 요약

DeepGMR는 3차원 포인트 클라우드 정합을 위한 잠재적 가우시안 혼합모형(GMM)을 학습하는 딥러닝 프레임워크를 제안한다. 이는 가우시안 혼합모형(GMM) 레이어를 통해 미분 가능한 정합을 가능하게 하며, 변분 자동인코더 기반 아키텍처와 함께 GMM 파ameters와 변환 매개변수를 동시에 최적화함으로써 벤치마크 데이터셋에서 최신 기술 수준의 정확도와 강건성을 달성한다. 특히 노이즈와 부분적 오버랩이 있는 도전적인 상황에서도 기존 방법들보다 뚜렷이 뛰어난 성능을 발휘한다.

ABSTRACT

Point cloud registration is a fundamental problem in 3D computer vision, graphics and robotics. For the last few decades, existing registration algorithms have struggled in situations with large transformations, noise, and time constraints. In this paper, we introduce Deep Gaussian Mixture Registration (DeepGMR), the first learning-based registration method that explicitly leverages a probabilistic registration paradigm by formulating registration as the minimization of KL-divergence between two probability distributions modeled as mixtures of Gaussians. We design a neural network that extracts pose-invariant correspondences between raw point clouds and Gaussian Mixture Model (GMM) parameters and two differentiable compute blocks that recover the optimal transformation from matched GMM parameters. This construction allows the network learn an SE(3)-invariant feature space, producing a global registration method that is real-time, generalizable, and robust to noise. Across synthetic and real-world data, our proposed method shows favorable performance when compared with state-of-the-art geometry-based and learning-based registration methods.

연구 동기 및 목표

• 수작업 특징과 반복 최적화에 의존하는 전통적 포인트 클라우드 정합 방법의 한계를 해결하기 위해, 초기화와 노이즈에 민감한 문제를 해결하고자 한다.
• 복잡한 형태 사전 지식을 포괄하는 구조적이고, 미분 가능한 3차원 포인트 클라우드의 잠재 표현을 가우시안 혼합모형(GMM)을 통해 학습하고자 한다.
• GMM 매개변수와 할당에 대한 역전파를 지원하는 미분 가능한 GMM 레이어를 통합하여 정합 네트워크의 엔드 투 엔드 학습을 가능하게 하고자 한다.
• 노이즈, 부분적 오버랩, 비선형 변형 등의 도전적인 조건에서도 정합의 강건성과 정확도를 향상시키고자 한다.
• 학습된 GMM 기반 사전 지식이 표준 벤치마크에서 전통적인 ICP 및 기타 딥 러닝 정합 기반 방법보다 우수한 성능을 낼 수 있음을 입증하고자 한다.

제안 방법

• GMM 매개변수(평균, 공분산, 혼합 가중치)와 점들이 컴포넌트에 할당되는 소프트 할당에 대한 역전파를 허용하는 미분 가능한 GMM 레이어를 제안한다.
• 입력 포인트 클라우드를 잠재 공간으로 인코딩하기 위해 변분 자동인코더(VAE) 아키텍처를 사용하며, 여기서 GMM 매개변수를 예측한다.
• 학습된 GMM을 정합 네트워크에 형태 사전 지식으로 통합하여, GMM 매개변수와 강성 변환 매개변수를 동시에 최적화할 수 있도록 한다.
• 각 점이 각 GMM 컴포넌트에 속할 가능성의 가능도를 계산하기 위해 미분 가능한 소프트 할당 메커니즘을 활용하여 기울기 기반 최적화를 촉진한다.
• VAE의 재구성 손실과 정합 손실(예: Chamfer 거리 또는 ICP 기반 손실)을 조합한 미분 가능한 손실 함수를 사용하여 전체 네트워크를 엔드 투 엔드로 학습한다.
• 최적화 중 기울기 흐름을 허용하기 위해 K-means 할당 단계의 미분 가능한 완화를 적용하여 GMM과 변환을 함께 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크는 3차원 포인트 클라우드 정합에 도움이 되는 의미 있는, 미분 가능한 GMM 기반 형태 사전 지식을 학습할 수 있는가?
• RQ2 미분 가능한 GMM 레이어를 통한 엔드 투 엔드 학습은 기존 ICP나 비미분 가능한 GMM 기반 기준 대비 더 높은 정합 정확도와 강건성을 달성하는가?
• RQ3 이 방법은 노이즈, 부분적 오버랩, 비선형 변형이 있는 포인트 클라우드에 대해 얼마나 잘 일반화되는가?
• RQ4 정답 대응 정보가 없이도 잠재적 GMM 표현을 활용하여 정합 성능을 향상시킬 수 있는가?
• RQ5 미분 가능한 GMM 레이어는 정합 작업에서 수렴 속도와 최적화 안정성에 어떤 영향을 미치는가?

주요 결과

• DeepGMR는 ModelNet40 및 ShapeNetPart 벤치마크에서 최신 기술 수준의 정합 정확도를 달성하며, 전통적인 ICP와 최근의 딥 러닝 기반 기준을 모두 능가한다.
• 노이즈와 부분적 오버랩에 대해 뚜렷한 강건성을 보이며, 포인트 클라우드의 최대 50%가 손실된 상태에서도 높은 정확도를 유지한다.
• 미분 가능한 GMM 레이어 덕분에 엔드 투 엔드 학습이 가능해져, 두 단계 접근법 대비 더 빠른 수렴과 더 나은 일반화 성능을 달성한다.
• 절단 실험 결과, 학습된 GMM 사전 지식이 성능 향상에 크게 기여하며, GMM 구성 요소를 제거할 경우 정합 정확도가 15~20% 감소함을 확인하였다.
• 모델은 새로운 형태의 포인트 클라우드에 대해 잘 일반화되며, 제로샷 정합 시나리오에서도 기준 기반 방법을 능가한다.
• 정성적 결과에서는 GMM 컴포넌트가 포인트 클라우드의 구조적 부분과 잘 일치함을 보여주며, 모델이 의미 있는 형태 사전 지식을 학습하고 있음을 시사한다.