[논문 리뷰] 3D Menagerie: Modeling the 3D shape and pose of animals

Silvia Zuffi, Angjoo Kanazawa외 2명|arXiv (Cornell University)|2016. 11. 23.

3D Shape Modeling and Analysis참고 문헌 30인용 수 8

한 줄 요약

이 논문은 놀이용 장난감 인형의 스캔 데이터 41개에서만 학습한, 네 발로 걷는 체계의 동물들을 위한 통계적 3D 형태 및 자세 모델인 SMAL을 제안한다. 새로운 부분 기반 정렬 방법(GloSS)과 공액 정렬 및 주성분 분석(PCA)을 통한 반복적 정밀 조정을 통해, 모델은 실제 동물과 학습 데이터에 없던 종들로의 일반화가 가능해져, 2D 이미지에 대한 관점 투영과 관점 기반 키포인트 및 윤곽선을 기반으로 정확한 3D 피팅을 가능하게 한다.

ABSTRACT

There has been significant work on learning realistic, articulated, 3D models of the human body. In contrast, there are few such models of animals, despite many applications. The main challenge is that animals are much less cooperative than humans. The best human body models are learned from thousands of 3D scans of people in specific poses, which is infeasible with live animals. Consequently, we learn our model from a small set of 3D scans of toy figurines in arbitrary poses. We employ a novel part-based shape model to compute an initial registration to the scans. We then normalize their pose, learn a statistical shape model, and refine the registrations and the model together. In this way, we accurately align animal scans from different quadruped families with very different shapes and poses. With the registration to a common template we learn a shape space representing animals including lions, cats, dogs, horses, cows and hippos. Animal shapes can be sampled from the model, posed, animated, and fit to data. We demonstrate generalization by fitting it to images of real animals including species not seen in training.

연구 동기 및 목표

• 인간 신체 모델링 기법을 동물로 확장하여 네 발로 걷는 체계의 동물들을 위한 3D 통계적 형태 모델을 개발한다.
• 실제 생물을 스캔하는 데 어려움이 있어 동물에 대한 3D 데이터가 제한적인 문제를 해결한다.
• 소량의 놀이용 인형 스캔 데이터를 통해 실제 동물과 기존에 보지 못한 종들로의 일반화를 가능하게 한다.
• 형태 샘플링, 자세 제어, 애니메이션, 2D 이미지 데이터에 대한 피팅을 지원하는 재사용 가능한, 관절 기반 3D 모델을 구축한다.

제안 방법

• 놀이용 인형 스캔 데이터를 공통 템플릿 메esh에 부분 기반으로 거친 정렬을 수행하기 위해 새로운 글로벌-로컬 스티치드 형태(GloSS) 모델을 사용한다.
• 모델에 의존하지 않는 정렬을 가능하게 하기 위해, 각 스캔에 대해 가능한 한 강성 유지 변형(ARAP)을 적용하여 템플릿 정렬을 정밀 조정한다.
• 정밀 조정된 스캔 데이터를 자세 정규화하고, SMPL와 유사하게 주성분 분석(PCA)을 통해 저차원 형태 공간을 학습한다.
• 통계 모델을 사용하여 템플릿을 모든 스캔 데이터에 대해 반복적으로 공액 정렬하고, 형태 공간과 정렬 결과를 함께 최적화하여 개선한다.
• 선형 블렌딩 스킨닝과 학습된 블렌딩 가중치를 사용하여 관절 기반 자세 제어가 가능한 스킨드드 멀티애니멀 라인어(SMAL) 모델을 구성한다.
• 단계적 정밀 조정을 통해 최적화하는 다항 에너지 함수(키포인트, 윤곽선, 형태/자세 사전 지식 항목 포함)를 사용하여 2D 이미지에 SMAL 모델을 피팅한다.

실험 결과

연구 질문

• RQ1 소량의 놀이용 장난감 인형 스캔 데이터에서 3D 통계적 형태 모델을 성공적으로 학습할 수 있는가?
• RQ2 그러한 모델은 학습 데이터에 포함되지 않은 실제 동물로 일반화될 수 있는가?
• RQ3 극도로 이질적인 형태적 특징을 가진 다양한 네 발로 걷는 가족(예: 사자, 고양이, 개, 말, 소, 하마) 간의 형태 변동성을 얼마나 잘 포괄할 수 있는가?
• RQ4 2D 키포인트와 윤곽선만을 사용하여 2D 이미지 데이터에 대해 모델을 얼마나 잘 피팅할 수 있는가?
• RQ5 2D 애너테이션의 노이즈와 자세 추정의 깊이 불확실성에 대해 모델이 얼마나 강인한가?

주요 결과

• SMAL 모델은 학습 데이터에 포함되지 않은 실제 동물로도 성공적으로 일반화되어, 2D 이미지에 대한 정확한 3D 피팅을 가능하게 한다.
• 단지 41개의 놀이용 인형 스캔 데이터만으로도 사자, 고양이, 개, 말, 소, 하마 등 다양한 가족 간의 상당한 형태 변동성을 포괄한다.
• 수동으로 애너테이션된 20개의 키포인트와 세그멘테이션을 사용하여 실제 동물 이미지에 대해 피팅할 경우, 다양한 자세에서 신뢰할 수 있고 현실적인 3D 재구성을 제공한다.
• 사자 털, 말 다리, 하마 얼굴 등 극단적인 특징을 가진 동물에 대해서도 모델이 잘 작동하여 강력한 형태 일반화 능력을 입증한다.
• 보리, 당나귀, 양, 돼지 등 새로운 종들로의 일반화도 가능하지만, 돼지의 코와 같은 고도로 특화된 기능은 일부 제한을 보인다.
• 일반적인 리눅스 머신에서 단일 이미지에 대한 최적화가 1분 이내에 수행되어 실용적 응용에 대한 계산 가능성도 입증한다.