[논문 리뷰] Expressive Telepresence via Modular Codec Avatars

Hang Chu, Shugao Ma외 3명|arXiv (Cornell University)|2020. 08. 26.

Face recognition and analysis참고 문헌 23인용 수 5

한 줄 요약

이 논문은 전체 얼굴 모델링을 학습된 모듈러 표현으로 대체하여, 여러 헤드셋 카메라에서 온 입력을 별도로 처리한 후 적응형 블렌딩을 수행함으로써 초현실적이고 표현력 있는 VR 원격현신 아바타를 생성하는 새로운 방법인 모듈러 코덱 아바타(MCA)를 제안한다. MCA는 기존의 통합형 코덱 아바타(CA) 모델보다 얼굴 표현력과 강인성을 향상시키며, 실제 데이터셋에서 최신 기술 수준의 성능을 달성한다. RMSE는 5.48 vs. 6.67로 감소하였고, 미리 학습되지 않은 미세한 표현이나 시점 변화에 대한 처리 능력도 뛰어나다.

ABSTRACT

VR telepresence consists of interacting with another human in a virtual space represented by an avatar. Today most avatars are cartoon-like, but soon the technology will allow video-realistic ones. This paper aims in this direction and presents Modular Codec Avatars (MCA), a method to generate hyper-realistic faces driven by the cameras in the VR headset. MCA extends traditional Codec Avatars (CA) by replacing the holistic models with a learned modular representation. It is important to note that traditional person-specific CAs are learned from few training samples, and typically lack robustness as well as limited expressiveness when transferring facial expressions. MCAs solve these issues by learning a modulated adaptive blending of different facial components as well as an exemplar-based latent alignment. We demonstrate that MCA achieves improved expressiveness and robustness w.r.t to CA in a variety of real-world datasets and practical scenarios. Finally, we showcase new applications in VR telepresence enabled by the proposed model.

연구 동기 및 목표

• . 이 논문은 현재의 통합형 코덱 아바타(CA) 모델을 넘어서 표현력과 강인성을 향상시키기 위한 목적으로, 제한된 데이터로 학습된 비균일한 분포를 가진 얼굴 표정 데이터에서의 성능을 개선하고자 한다.
• CA의 경우 훈련 데이터가 제한되어 있어 드문 또는 복잡한 얼굴 표정을 보간하는 데 어려움이 있으며, 정적 통합 모델링 방식으로 인해 이러한 한계를 지닌다.
• 목표는 소수의 훈련 샘플에서 정확하고 일반화 가능하며, 인지적으로 자연스러운 얼굴 애니메이션을 가능하게 하는 모듈러이고 데이터 기반의 접근법을 개발하는 것이다.
• 이 방법은 조명, 헤드셋 위치, 메이크업, 하드웨어 차이 등 실제 환경에서의 변동성을 잘 처리할 수 있도록 한다.

제안 방법

• . MCA는 CA의 통합형 인코더를 대체하여, 각 헤드셋 카메라 이미지를 별도로 처리하는 모듈러 인코더를 도입한다. 이 인코더는 각각의 카메라 입력을 부분별로 특화된 잠재 코드로 변환한다.
• 각 카메라별로 생성된 잠재 코드는 싱크라이저 네트워크로 전달되며, 이 네트워크는 전체 얼굴 코드와 블렌딩 가중치를 추정한다. 이 과정에서 조정 가능한 적응형 블렌딩 기법을 사용한다.
• 싱크라이저는 학습된 부분 벡터에 대해 소프트 어텐션 메커니즘을 적용하여, 다양한 얼굴 구성 요소의 기여도를 동적으로 조정한다.
• 시간적 안정성과 시간적 일관성을 향상시키기 위해 싱크라이저 내부에 시간적 컨volution 네트워크를 활용한다.
• 잠재 코드 간의 일치를 확보하기 위해 예시 기반 잠재 정렬 기법을 사용한다. 이는 다양한 표정과 시점에서의 잠재 표현 간의 일치를 도모한다.
• 최종적으로, 공유된 디코더를 사용하여 학습된 가중치를 기반으로 다수의 카메라별 얼굴 코드를 블렌딩하여 3D 얼굴을 복원한다.

실험 결과

연구 질문

• RQ1 . 한정된 비균일 분포를 가진 얼굴 표정 데이터에서 학습된 얼굴 애니메이션 모델이 어떻게 더 높은 표현력을 달성할 수 있는가?
• RQ2 모듈러 아키텍처는 조명, 헤드셋 위치, 외관 변화와 같은 실제 환경의 변동성에 대해 얼마나 뛰어난 강인성을 보일 수 있는가?
• RQ3 다중 시점 얼굴 복원에서, 학습 가능한 블렌딩 메커니즘이 고정 또는 동일 가중치 블렌딩보다 우월한 성능을 보일 수 있는가?
• RQ4 표현 품질과 복원 정확도 측면에서, 모듈러 설계는 통합 모델링에 비해 어떤가?
• RQ5 향상된 얼굴 표현력과 제어 기능을 통해 어떤 새로운 VR 원격현신 응용 프로그램이 가능해지는가?

주요 결과

• . MCA는 주요 평가 지표에서 CA 대비 17.5%의 상대적 RMSE 감소(5.48 vs. 6.67)를 달성하여, 더 뛰어난 복원 정확도를 입증하였다.
• MCA는 입을 벌리면서 눈을 반쯤 감은 상태거나 눈을 감고 이가 드러나 있는 등, 미리 학습되지 않은 복잡하고 미세한 표정을 처리하는 데서 CA를 크게 앞서는 성능을 보였다.
• 절단 실험 결과, 소프트 어텐션, 엔드 투 엔드 학습, 잠재 코드 차원 확장이 성능 향상에 핵심 요소임을 확인하였다. 시간적 컨volution과 스킵 연결 또한 성능 향상에 기여하였다.
• MCA는 다양한 시점에서 일관되고 자연스러운 얼굴 표정을 생성하였으며, 그 결과는 그림 6의 다중 시점 렌더링을 통해 검증되었다.
• 모델은 무작위 모듈 재배열이나 눈 강조 기능을 통해 유연한 표정 애니메이션을 가능하게 하여, 향상된 제어 능력을 입증하였다.
• 실패 사례는 극단적인 비대칭성이나 강한 배경 플래시에 국한되어 있어, 대부분의 실질적 VR 조건에서 강인함을 보였다.