[논문 리뷰] Learning 3D Dense Correspondence via Canonical Point Autoencoder

An-Chieh Cheng, Xueting Li외 3명|arXiv (Cornell University)|2021. 07. 10.

3D Shape Modeling and Analysis참고 문헌 29인용 수 14

한 줄 요약

이 논문은 봉쇄부에 캐논리컬 UV 구를 사용하여 정렬되지 않은, 순서가 없는 포인트 클라우드를 매핑함으로써 밀도 높은 3D 형상 대응을 학습하는 캐논리컬 포인트 오토에인코더(CPAE)를 제안한다. 자기지도 학습 목표를 통해 애너테이션 없이도 포인트 수준의 대응 예측이 가능하며, 정렬되지 않은 형상에서 3D 키포인트 이동 및 파트 분할 이동 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a canonical point autoencoder (CPAE) that predicts dense correspondences between 3D shapes of the same category. The autoencoder performs two key functions: (a) encoding an arbitrarily ordered point cloud to a canonical primitive, e.g., a sphere, and (b) decoding the primitive back to the original input instance shape. As being placed in the bottleneck, this primitive plays a key role to map all the unordered point clouds on the canonical surface and to be reconstructed in an ordered fashion. Once trained, points from different shape instances that are mapped to the same locations on the primitive surface are determined to be a pair of correspondence. Our method does not require any form of annotation or self-supervised part segmentation network and can handle unaligned input point clouds. Experimental results on 3D semantic keypoint transfer and part segmentation transfer show that our model performs favorably against state-of-the-art correspondence learning methods.

연구 동기 및 목표

• 지상 참조 애너테이션 또는 파트 분할 감독 없이도 밀도 높은 3D 형상 대응을 학습하는 도전 과제를 해결한다.
• 동일한 카테고리에 属하는 정렬되지 않은, 임의의 순서로 배열된 3D 포인트 클라우드 간의 대응 학습을 가능하게 한다.
• 포인트 수준의 대응을 명시적으로 캐논리컬 공간—특히 UV 구—에 인코딩하는 방법을 개발한다.
• 추론 시 명시적인 회전 추정이 필요 없이도 회전 불변성 있는 대응 예측을 달성한다.
• 학습된 대응을 활용하여 3D 의미 키포인트 이동 및 파트 분할 레이블 이동과 같은 후행 작업을 가능하게 한다.

제안 방법

• 형상 간 일관성 있는 매핑을 보장하기 위해 캐논리컬 봉쇄부 공간으로 UV 구를 사용하는 포인트 오토에인코더 아키텍처를 사용한다.
• 에코더는 입력 포인트 클라우드를 구 표면으로 매핑하고, 디코더는 캐논리컬 포인트에서 원래 형상을 재구성하도록 훈련한다.
• 봉쇄부에서 자기지도 학습 기반의 적응형 카메프 손실을 적용하여 인스턴스별 기초 형태 조정이 가능하고, 위상적 변형을 다룰 수 있다.
• 이중 단계 훈련 파rag램을 사용한다: 먼저 재구성 및 캐논리컬 변형 손실로 사전 훈련하고, 이후 교차 재구성 및 대응 손실로 미세 조정한다.
• 포인트넷 스타일의 글로벌 특징 인코딩과 MLP 기반의 폴딩 연산을 활용하여 포인트 순서를 유지하고 구조적 디코딩을 가능하게 한다.
• 대응 예측에 대해 신뢰도 점수를 도입하여 빈자리나 형상 변형과 같은 불확실한 영역을 강조한다.

실험 결과

연구 질문

• RQ1 캐논리컬 구 봉쇄부가 지도 없이도 정렬되지 않은 3D 형상 간에 포인트 수준의 밀도 높은 대응을 효과적으로 학습할 수 있는가?
• RQ2 의자에 팔걸이가 있는지 여부와 같은 다양한 위상적 특성을 가진 형상에 대해 제안된 CPAE는 얼마나 잘 일반화되는가?
• RQ3 학습된 대응이 3D 키포인트 이동 및 파트 분할 레이블 이동과 같은 후행 작업을 얼마나 잘 지원하는가?
• RQ4 명시적인 회전 예측 없이도 모델은 어떻게 회전 불변성과 형상 변형을 다루는가?
• RQ5 적응형 카메프 손실이 희박하거나 불완전한 영역에서 불확실성을 모델링하고 대응 정확도를 향상시키는 데 어떤 영향을 미치는가?

주요 결과

• CPAE는 KeypointNet 데이터셋에서 기존 방법들을 능가하는 최신 기술 수준의 성능을 보이며 3D 의미 키포인트 이동 작업에서 뛰어난 성과를 달성한다.
• 파트 분할 레이블 이동 결과는 큰 내부 클래스 형상 변형에도 불구하고 작은 세밀한 부품(예: 머그컵 손잡이, 항공기 尾翼)에 대한 레이블 정확한 이동을 보여준다.
• 모델은 정렬되지 않은 입력에 대해 잘 일반화되며, 회전 불변성을 유지하여 명시적인 회전 추정이 필요 없게 한다.
• 1개의 형상 쌍당 추론 시간이 0.03초(2048개 포인트)로 매우 빠르며, 총 207만 파라미터의 소형 모델이다.
• 대응 신뢰도 히트맵은 형상 변형(예: 다른 머그컵 손잡이나 기타 기타체)과 같은 불확실한 영역을 성공적으로 식별하여 모델의 신뢰성을 보여준다.
• 기존의 자기지도 접근법인 [12]과 비교해, 파트 기반 분해가 필요 없이 직접적인 밀도 높은 대응 학습이 가능하므로 더 뛰어난 성능을 발휘한다.