[논문 리뷰] Unsupervised Partial Point Set Registration via Joint Shape Completion and Registration

Xiang Li, Lingjing Wang외 1명|arXiv (Cornell University)|2020. 09. 11.

3D Shape Modeling and Analysis참고 문헌 47인용 수 5

한 줄 요약

이 논문은 공유 잠재 코드를 통한 형태 복구와 강성 정렬을 동시 최적화하는 방식으로, 부분 점군 정렬을 위한 비지도 딥러닝 방법을 제안한다. 모델은 명시적 특징 인코딩을 제거하고 공유 잠재 코드의 엔드 투 엔드 훈련을 수행하며, ModelNet40에서 최신 기술 수준의 성능을 달성한다. 512개의 점이 손실된 상황에서도 RMSE(R)가 1° 이하, RMSE(t) < 0.06을 확보한다.

ABSTRACT

We propose a self-supervised method for partial point set registration. While recent proposed learning-based methods have achieved impressive registration performance on the full shape observations, these methods mostly suffer from performance degradation when dealing with partial shapes. To bridge the performance gaps between partial point set registration with full point set registration, we proposed to incorporate a shape completion network to benefit the registration process. To achieve this, we design a latent code for each pair of shapes, which can be regarded as a geometric encoding of the target shape. By doing so, our model does need an explicit feature embedding network to learn the feature encodings. More importantly, both our shape completion network and the point set registration network take the shared latent codes as input, which are optimized along with the parameters of two decoder networks in the training process. Therefore, the point set registration process can thus benefit from the joint optimization process of latent codes, which are enforced to represent the information of full shape instead of partial ones. In the inference stage, we fix the network parameter and optimize the latent codes to get the optimal shape completion and registration results. Our proposed method is pure unsupervised and does not need any ground truth supervision. Experiments on the ModelNet40 dataset demonstrate the effectiveness of our model for partial point set registration.

연구 동기 및 목표

• 딥러닝 기반 방법에서 전체 점군 정렬과 부분 점군 정렬 간의 성능 격차를 해소한다.
• 입력 형태가 불완전하거나 부분적으로 관측될 경우 정렬 정확도가 떨어지는 문제를 해결한다.
• 지식 기반의 지도 학습에 의존하지 않고, 부분 정렬을 위한 자체 지도 학습 프레임워크를 설계함으로써 지도 학습을 제거한다.
• 공유 잠재 코드의 공동 최적화를 통해 형태 복구와 정렬을 동시에 향상시킨다.
• 특징 인코딩 네트워크를 명시적으로 필요로 하지 않아 아키텍처의 복잡성을 감소시킨다.

제안 방법

• 각 형태 쌍에 대해 학습 가능한 잠재 코드를 도입하여, 명시적 특징 네트워크 없이도 전역 기하학적 임베딩을 제공한다.
• 형태 복구 네트워크와 점군 정렬 네트워크와 함께 공유 잠재 코드를 동시에 훈련시킨다.
• 잠재 코드를 형태 복구 및 정렬 네트워크 양쪽의 입력으로 사용하여 상호 최적화를 가능하게 한다.
• 훈련 중에 잠재 코드를 최적화하여, 부분 입력에서도 전체 형태 기하학을 표현하도록 한다.
• 추론 시에는 네트워크 가중치를 고정하고, 오직 잠재 코드만 최적화하여 완성된 형태와 정확한 강성 변환을 생성한다.
• 지상 진실 변환 또는 지상 진실 형태가 없는 상태에서 복원 및 정렬 손실을 사용해 전체 시스템을 비지도 방식으로 훈련시킨다.

실험 결과

연구 질문

• RQ1 형태 복구와 정렬의 공동 최적화가 부분 점군에 대한 성능 향상에 기여하는가?
• RQ2 공유 잠재 코드 표현 방식이 명시적 특징 인코더보다 부분 정렬에서 더 나은 일반화 및 강건성을 제공하는가?
• RQ3 잠재 코드 최적화를 통한 비지도 훈련이 기존의 지도 또는 약한 지도 학습 방법보다 부분 형태에서 얼마나 뛰어난 성능을 내는가?
• RQ4 지상 진실이 없는 상황에서 형태 복구의 포함이 강성 변환 추정 정확도를 얼마나 향상시키는가?
• RQ5 점군의 희소성 또는 노이즈가 심한 상황에서도 이 방법이 높은 성능을 유지할 수 있는가?

주요 결과

• 768개의 점이 남아 있는 (640개의 점이 손실된) ModelNet40에서 제안된 방법은 RMSE(R) 0.228857과 RMSE(t) 0.057238을 달성하여 부분 입력에 대해 뛰어난 성능을 보였다.
• 512개의 점이 손실된 경우에도 항공기 및 의자 카테고리에서 RMSE(R) < 5° 및 RMSE(t) < 0.06을 유지하여 고도로 희소한 입력에 대해 강건함을 입증했다.
• 절단 실험 결과, 형태 복구 모듈이 회전 예측 성능을 크게 향상시켜 기준 모델 대비 RMSE(R)를 1.394375에서 전체 모델로 0.228857로 감소시켰다.
• 항공기 카테고리에서 DCP 및 PR-Net보다 성능이 뛰어나, MSE(R) (0.058920 vs. 20.518583)와 RMSE(t) (0.057238 vs. 0.039315) 모두에서 낮은 수치를 기록했다.
• 실패 사례는 주로 512개의 점이 손실된 경우에 발생하며, 잠재 코드 최적화 과정에서 국소 최적점에 수렴하면서 고도의 회전 오차(MSE(R) 최대 20.928)를 유발한다.
• 실험 결과, 가우시안 노이즈에 대해서도 이 방법이 강건함을 입증하여 실제 데이터에서의 실용성을 보였다.