[논문 리뷰] Shape correspondences from learnt template-based parametrization

Thibault Groueix, Matthew Fisher외 3명|arXiv (Cornell University)|2018. 06. 13.

3D Shape Modeling and Analysis인용 수 2

한 줄 요약

이 논문은 3D 형태 대응을 위한 딥러닝 방법을 제안하며, 형태 표현을 학습 가능한 템플릿과 입력 형태로의 변형을 매개하는 특징 벡터로 분해한다. 특징 벡터를 회귀하고 Chamfer 거리 최소화를 통해 정밀하게 다듬음으로써, FAUST 벤치마크에서 평균 오차 2.88cm를 기록하며 기존 방법보다 더 높은 성능을 달성했으며, 실제 스캔 및 비인간 형태에서도 뛰어난 성능을 보였다.

ABSTRACT

We present a new deep learning approach for matching deformable shapes by using a model which jointly encodes 3D shapes and correspondences. This is achieved by factoring the surface representation into (i) a template, that parameterizes the surface, and (ii) a learnt feature vector that parameterizes the function which transforms the template into the input surface. We show that our network can directly predict the feature vector and thus correspondences for a new input shape, but also that correspondence quality can be significantly improved by an additional regression step. This additional step improves the shape feature vector by minimizing the Chamfer distance between the input and parameterized shape. We show that this produces both a better shape representation and better correspondences. We demonstrate that our simple approach improves state of the art results on the difficult FAUST inter challenge, with an average correspondence error of 2.88cm. We also show results on the real scans from the SCAPE dataset and the synthetically perturbed shapes from the TOSCA dataset, including non-human shapes.

연구 동기 및 목표

• 큰 비탄성 변형을 겪는 탄성 형태에 대한 3D 형태 대응을 향상시키기 위해.
• 형태 기하학과 대응 관계를 모두 포함하는 통합 표현을 개발하기 위해.
• 학습된 특징 벡터를 통해 직접 대응을 예측하면서도 정밀도 향상을 위해 다듬는 것을 가능하게 하기 위해.
• 표준 벤치마크를 넘어서 실제 스캔 및 합성적으로 변형된 형태를 포함한 다양한 데이터셋에서의 강인성을 입증하기 위해.

제안 방법

• 방법은 3D 형태를 고정된 템플릿과 입력 형태로의 변형을 매개하는 학습 가능한 특징 벡터로 분해한다.
• 딥 네ural 네트워크는 입력 형태에서 직접 특징 벡터를 예측하여 엔드 투 엔드 대응 예측을 가능하게 한다.
• 추가적인 회귀 단계는 예측된 특징 벡터로 복원된 형태와 입력 형태 간의 Chamfer 거리를 최소화한다.
• 정밀화 단계는 특징 벡터를 최적화하여 형태 표현의 정확성과 대응의 질을 모두 향상시킨다.
• 기울기 기반 최적화를 가능하게 하기 위해 미분 가능한 매개변수화를 사용한다.

실험 결과

연구 질문

• RQ1 학습 가능한 템플릿 기반 매개변수화는 비탄성 형태에서 기존 딥러닝 방법보다 더 높은 대응 정확도를 달성할 수 있는가?
• RQ2 Chamfer 거리 최소화를 통해 예측된 특징 벡터를 정밀화하는 것은 대응 품질과 형태 표현에 어떤 영향을 미치는가?
• RQ3 이 방법은 표준 벤치마크를 넘어서 실제 스캔과 비인간 형태로까지 일반화 가능한가?
• RQ4 템플릿과 특징 벡터를 통한 형태와 대응의 통합 인코딩은 변형에 대해 강인성을 향상시키는가?

주요 결과

• 이 방법은 도전적인 FAUST 인터챌린지 데이터셋에서 최상의 평균 대응 오차 2.88cm를 기록했다.
• 추가적인 회귀 단계는 Chamfer 거리를 사용해 예측된 특징 벡터를 정밀화함으로써 대응 품질을 크게 향상시켰다.
• SCAPE 데이터셋의 실제 스캔에 대해서도 잘 일반화되어 소음과 측정 오류에 강인함을 입증했다.
• TOSCA 데이터셋의 합성적으로 변형된 형태, 비인간 형태를 포함한 모든 형태에서 고품질의 대응을 생성했다.