[논문 리뷰] Non-rigid Point Cloud Registration with Neural Deformation Pyramid

Yang Li, Tatsuya Harada|arXiv (Cornell University)|2022. 05. 25.

3D Shape Modeling and Analysis인용 수 14

한 줄 요약

이 논문은 뉴럴 디포메이션 파이프라미드(Neural Deformation Pyramid, NDP)를 제안하며, 계층적인 딥러닝 방법으로 비정형 포인트 클라우드 정합을 수행한다. 이 방법은 다층의 MLP 피라미드에서 주어진 3차원 좌표를 주파수를 점점 증가시키는 사인함수 인코딩을 사용하여 복잡한 변형을 다단계 운동 수준으로 분해한다. NDP는 4DMatch/4DLoMatch 벤치마크에서 최신 기술 수준의 성능을 달성하며, 이전의 좌표 네트워크 기반 접근 방식보다 50배 이상 빠른 속도로 실행된다.

ABSTRACT

Non-rigid point cloud registration is a key component in many computer vision and computer graphics applications. The high complexity of the unknown non-rigid motion make this task a challenging problem. In this paper, we break down this problem via hierarchical motion decomposition. Our method called Neural Deformation Pyramid (NDP) represents non-rigid motion using a pyramid architecture. Each pyramid level, denoted by a Multi-Layer Perception (MLP), takes as input a sinusoidally encoded 3D point and outputs its motion increments from the previous level. The sinusoidal function starts with a low input frequency and gradually increases when the pyramid level goes down. This allows a multi-level rigid to nonrigid motion decomposition and also speeds up the solving by 50 times compared to the existing MLP-based approach. Our method achieves advanced partialto-partial non-rigid point cloud registration results on the 4DMatch/4DLoMatch benchmark under both no-learned and supervised settings.

연구 동기 및 목표

• 알 수 없는 대규모 변형과 부분적 겹침으로 인해 발생하는 비정형 포인트 클라우드 정합의 높은 복잡성을 해결하기 위해.
• 학습되지 않은 상태와 지도 학습 설정 모두에서 부분-부분 포인트 클라우드 매칭의 정확도와 속도를 향상시키기 위해.
• 다단계 신경망 아키텍처를 사용하여 전역에서 국소로의 비정형 운동을 계층적으로 모델링하기 위해.
• 형태 이동 등의 응용 분야를 위해 효율적이고 연속적인 변형 필드 예측을 가능하게 하기 위해.

제안 방법

• NDP는 각 수준에서 이전 수준의 운동 증분을 예측하는 다층 퍼셉트론(MLP)의 피라미드를 사용하며, 3차원 좌표는 사인함수 인코딩을 거친다.
• 피라미드의 상단에서 하단으로 갈수록 사인함수 인코딩의 주파수가 증가하여, 굵은 해상도에서 세밀한 해상도로의 운동 분해가 가능하다: 낮은 주파수에서는 강체 운동 유사한 움직임을 모델링하고, 높은 주파수에서는 세밀한 비정형 세부 정보를 포착한다.
• 단일 MLP만을 각 반복에서 쿼리하는 계층적 최적화 기법을 사용하여 계산 오버헤드를 크게 감소시킨다.
• 이국적 요소와 부분적 겹침에 대한 강건성을 확보하기 위해 $L_1$-노름 카멘 거리 손실을 사용하며, 다양한 워프 필드 유형(SO(3), Sim(3), R^3)과 회전 표현 방식(축-각도, 유크타, 힘저)을 평가한다.
• 연속적인 변형 필드를 통해 원본 메쉬 정점에 직접 변형을 적용할 수 있어, 영역별 스케일 변화가 수반되는 형태 이동 응용이 가능하다.
• 비지도 및 지도 학습 설정 모두에서 평가되었으며, 손실 함수, 운동 필드 유형, 회전 표현 방식에 대한 분석 실험도 수행되었다.

실험 결과

연구 질문

• RQ1 계층적 운동 분해가 비정형 포인트 클라우드 정합의 정확도와 효율성 향상에 기여하는가?
• RQ2 피라미드 수준 간에 입력 주파수를 증가시키는 것이 변형 모델링 능력에 어떤 영향을 미치는가?
• RQ3 다양한 손실 함수($L_1$ 대비 $L_2$ 등)가 부분-부분 정합의 강건성에 미치는 영향은 무엇인가?
• RQ4 어느 워프 필드 유형(SE(3), Sim(3), R^3)과 회전 표현 방식(축-각도, 유크타, 힘저)이 가장 높은 정합 성능과 빠른 수렴 속도를 제공하는가?
• RQ5 NDP는 비정형 변형에서 영역별 스케일 변화가 수반되는 효과적인 형태 이동을 가능하게 하는가?

주요 결과

• NDP는 비지도 및 지도 학습 설정 모두에서 부분-부분 비정형 정합에 대해 4DMatch/4DLoMatch 벤치마크에서 최신 기술 수준의 성능을 달성한다.
• 이전의 좌표 네트워크 기반 접근 방식(Nerfies 등)보다 50배 이상 빠른 속도로 실행되어 추론 효율성이 크게 향상되었다.
• 부분 정합 상황에서 $L_1$-노름 손실이 $L_2$-노름 손실보다 우수한 성능을 보였으며, 비겹치는 영역에서 발생하는 이국적 요소와 큰 오차에 대해 더 강건하기 때문이다.
• SE(3) 워프 필드가 Sim(3) 또는 R^3 필드보다 더 좋은 결과를 도출했으며, Sim(3)은 스케일 파rameter 추정이 추가로 필요해 수렴에 더 많은 반복이 소요되었다.
• 축-각도와 유크타 각도 표현 방식이 힘저나 6차원 표현 방식보다 더 높은 성능과 더 빠른 수렴 속도를 기록했다.
• Mixamo와 DeformingThings4D 캐릭터를 대상으로 한 실험을 통해, 실감나는 영역별 스케일 변화를 수반하는 형태 이동이 성공적으로 가능함을 입증했다.