[논문 리뷰] Kernel Projection of Latent Structures Regression for Facial Animation Retargeting

Christos Ouzounis, Alex Kilias외 1명|arXiv (Cornell University)|2017. 07. 30.

Human Motion and Animation참고 문헌 16인용 수 7

한 줄 요약

이 논문은 다양한 얼굴 형태를 가진 캐릭터 간에 효율적인 얼굴 애니메이션 리타겟팅을 위한 잠재 구조의 커널 투영(KPLS) 회귀 방법을 제안한다. 의미적으로 유사한 얼굴 표정을 잠재 공간에 투영하고 커널화된 고유값 문제를 해결함으로써, 운동 데이터 매핑에서 뛰어난 정확도를 달성하며, 기존의 Dutreve 등(2008)의 방법보다 유사도 측면에서 61% 향상됨을 입증한다.

ABSTRACT

Inspired by kernel methods that have been used extensively in achieving efficient facial animation retargeting, this paper presents a solution to retargeting facial animation in virtual character's face model based on the kernel projection of latent structure (KPLS) regression between semantically similar facial expressions. Specifically, a given number of corresponding semantically similar facial expressions are projected into the latent space. By using the Nonlinear Iterative Partial Least Square method, decomposition of the latent variables is achieved. Finally, the KPLS is achieved by solving a kernalized version of the eigenvalue problem. By evaluating our methodology with other kernel-based solutions, the efficiency of the presented methodology in transferring facial animation to face models with different morphological variations is demonstrated.

연구 동기 및 목표

• 다른 형태학적 구조를 가진 가상 캐릭터에 연기자로부터의 얼굴 애니메이션을 전달하는 데 도전하는 것.
• 서로 다른 얼굴 모델 간에 부적절하거나 부족한 매핑으로 인해 실패하는 저수준 대응 방법의 한계를 극복하는 것.
• 원본(연기자) 및 대상(가상 캐릭터) 얼굴 모델의 얼굴 표정 간 강력한 의미적 대응 관계를 수립하는 것.
• 커널 기반 학습을 통해 얼굴 표정 데이터의 비선형 관계를 활용하여 리타겟팅 정확도와 안정성을 향상시키는 것.
• 다양한 얼굴 형태 간에 표현의 충실도를 유지하면서도 자동 리타겟팅을 위한 확장 가능한 솔루션을 개발하는 것.

제안 방법

• 커널 방법을 사용하여 원본 및 대상 얼굴 모델의 의미적으로 유사한 얼굴 표정을 공유 잠재 공간에 투영하는 것.
• 비선형 반복 부분 최소 제곱법(NIPLS) 알고리즘을 적용하여 잠재 변수를 분해하고 데이터 내 비선형 관계를 포착하는 것.
• 표현 공간 간의 복잡한 비선형 매핑을 모델링하기 위해 고유값 문제의 커널화된 버전으로 KPLS 회귀를 공식화하는 것.
• KPLS 모델 학습을 위한 입력 특징으로 얼굴 모델의 정점 위치를 사용하여 데이터 기반의 표현 전달을 가능하게 하는 것.
• 학습된 매핑의 일관성과 정확도를 검증하기 위해 중간 모델에서 초기 모델로의 역방향 리타겟팅을 수행하는 것.
• 모든 프레임과 정점에 걸쳐 평균 정점 이동 오차 기반의 손실 함수를 사용하여 매핑을 최적화하는 것.

실험 결과

연구 질문

• RQ1 원본 및 대상 얼굴 모델 간에 상당한 형태학적 차이가 있을 경우, 얼굴 표정 간의 의미적 대응 관계를 어떻게 효과적으로 수립할 수 있는가?
• RQ2 기존의 선형 또는 비커널화된 접근 방식에 비해 커널 기반 방법인 KPLS는 얼굴 애니메이션 리타겟팅의 정확도와 안정성 향상에 얼마나 기여하는가?
• RQ3 다양한 기하학적 특성을 가진 여러 얼굴 모델 간에 운동 시퀀스를 리타겟팅할 때 KPLS 회귀 방법이 높은 정밀도의 표현 전달을 유지할 수 있는가?
• RQ4 기존 최첨단 커널 기반 리타겟팅 기법들과 비교했을 때, 제안된 방법은 정점 이동 오차 측면에서 정량적으로 어떻게 성능을 내는가?
• RQ5 비선형 잠재 공간 투영이 리타겟팅 과정에서 얼굴 표정의 의미적 및 동적 특성을 유지하는 데 미치는 영향은 무엇인가?

주요 결과

• 제안된 KPLS 기반 방법은 정점 이동 오차로 측정했을 때, Dutreve 등(2008)의 방법보다 리타겟팅 유사도에서 61% 향상됨을 확인함.
• Deng 등(2006)에 비해 26% 향상, Costigan 등(2014)에 비해 20% 향상, Song 등(2011)에 비해 14% 향상됨.
• 1000프레임의 랜덤 얼굴 운동 시퀀스를 사용한 평가에서, 복잡한 운동 시퀀스 전반에 걸쳐 방법의 강건성과 안정성이 확인됨.
• 중간 모델(남성 얼굴)에서 초기 모델(아기 얼굴)로의 역방향 리타겟팅 결과, 일관되고 정확한 재구성이 이루어져 방법의 이중 방향 신뢰성을 검증함.
• 비선형 잠재 공간 모델링 덕분에, 큰 형태학적 격차가 있는 경우에도 표현 쌍 간의 의미적 대응을 효과적으로 유지함.
• 시각적 결과와 정량적 오차 지표는 제안된 방법이 평가된 모든 접근 방식 중에서 가장 정확하고 시각적으로 신뢰할 수 있는 리타겟팅 얼굴 애니메이션을 생성함을 확인함.