[논문 리뷰] 3D-CODED : 3D Correspondences by Deep Deformation

Thibault Groueix, Matthew Fisher외 3명|HAL (Le Centre pour la Communication Scientifique Directe)|2018. 06. 13.

3D Shape Modeling and Analysis참고 문헌 46인용 수 7

한 줄 요약

이 논문은 3D-모양 대응을 템플릿 기반 변형 네트워크를 통해 학습하는 딥러닝 프레임워크인 3D-CODED를 소개한다. 공통 템플릿을 변형하는 가속 가능한 글로벌 특징으로 형태를 인코딩함으로써, 명시적 대응 감독 없이도 FAUST-inter에서 평균 오차 2.88cm로 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

We present a new deep learning approach for matching deformable shapes by introducing {\it Shape Deformation Networks} which jointly encode 3D shapes and correspondences. This is achieved by factoring the surface representation into (i) a template, that parameterizes the surface, and (ii) a learnt global feature vector that parameterizes the transformation of the template into the input surface. By predicting this feature for a new shape, we implicitly predict correspondences between this shape and the template. We show that these correspondences can be improved by an additional step which improves the shape feature by minimizing the Chamfer distance between the input and transformed template. We demonstrate that our simple approach improves on state-of-the-art results on the difficult FAUST-inter challenge, with an average correspondence error of 2.88cm. We show, on the TOSCA dataset, that our method is robust to many types of perturbations, and generalizes to non-human shapes. This robustness allows it to perform well on real unclean, meshes from the the SCAPE dataset.

연구 동기 및 목표

• 노이즈와 저해상도 조건에서 인간과 동물과 같은 비정형, 변형 가능한 형태의 신뢰할 수 있는 3D 모양 대응을 수립하는 도전 과제를 해결한다.
• 수작업으로 설계된 템플릿, 복잡한 목적 함수, 局부 최소값에 쉽게 빠지는 국소 최적화에 의존하는 전통적 방법의 한계를 극복한다.
• 형태 인코딩과 변형을 동시에 학습하는 통합형 엔드 투 엔드 딥러닝 프레임워크를 개발하여 도메인 특화 사전 지식에 대한 의존도를 줄인다.
• 실세계의 더러운 메쉬, 다양한 편향(비인간 형태, 복잡한 자세 포함)에 대해 일반화 능력과 강건성을 입증한다.
• 명시적 대응 감독 없이 학습 가능하게 하여 대규모 약한 감독 데이터셋의 활용을 가능하게 한다.

제안 방법

• 공통 템플릿과 글로벌 특징 벡터로 3D 형태를 분해하는 형태 변형 네트워크를 제안하며, 이 벡터는 템플릿에서 입력 형태로의 변형을 인코딩한다.
• 에코더-디코더 아키텍처를 사용: 에코더는 입력 형태를 글로벌 특징 벡터로 매핑하고, 디코더(변형 네트워크)는 이 벡터를 사용해 템플릿을 입력 형태에 맞게 변형한다.
• 변형 네트워크를 통해 기울기 하강법를 적용한 미분 가능 최적화 단계를 통해 입력 형태와 변형된 템플릿 간의 카프만 거리(Chamfer distance)를 최소화함으로써 대응 품질을 향상시킨다.
• 단순한 복원 손실(카프만 거리)을 사용해 네트워크를 학습하고, 필요에 따라 매핑의 매끄럽고 규칙적인 성향을 유도하기 위해 정규화를 추가한다.
• 입력 형태를 회전시켜 데이터 증강하거나, 회전 등변성 네트워크를 훈련시켜 회전 불변성을 확보한다.
• 희귀하거나 분포 외의 자세를 포함한 대규모 합성 데이터셋(SURREAL 등)을 활용해 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 명시적 대응 감독 없이도 일관된 3D 모양 대응을 학습할 수 있는가?
• RQ2 전통적인 내재적 또는 기능적 방법과 비교해, 템플릿 기반 변형 접근 방식은 비정형 형태 매칭에 얼마나 효과적인가?
• RQ3 단일 공통 템플릿이 인간 외의 형태와 다양한 자세에 대해 얼마나 잘 일반화되는가?
• RQ4 복잡한 다항목 목적 함수가 필요한 기존 방법과 비교해, 단순한 복원 손실로 엔드 투 엔드 학습이 더 나은 성능을 내는가?
• RQ5 감독 없이 정규화를 추가하면 대응 품질에 어떤 영향을 미치는가?

주요 결과

• 3D-CODED는 FAUST-inter 벤치마크에서 최신 기술 수준의 평균 대응 오차 2.88cm를 달성하며, 이는 이전 방법들을 능가한다.
• SCAPE 데이터셋의 실제 더러운 메쉬에 대해서도 잘 일반화되어 노이즈와 비균일 샘플링에 강건함을 입증한다.
• 대응 감독 없이 학습한 결과 FAUST-inter에서 4.88cm 오차를 기록했으며, 이는 Deep Functional Map(4.83cm)와 유사한 성능을 보여 약한 감독의 효과성을 입증한다.
• 다양한 자세(예: 구부정한 인간)로 훈련 데이터를 증강하면 분포 외 테스트 형태에 대한 성능 향상이 뚜렷하게 향상된다.
• 기울기 하강법를 통해 카프만 거리를 최소화하는 최적화 단계는 초기 예측이 열악한 경우에도 대응 정확도를 크게 향상시킨다.
• 감독 없이 학습할 경우 표면 정규화가 필수적이다: 정규화 없이 학습하면 점군 예측은 합리적이지만 메쉬가 왜곡되는 경향이 있다.