[논문 리뷰] EgoFace: Egocentric Face Performance Capture and Videorealistic Reenactment

Mohamed Elgharib, B R Mallikarjun외 5명|arXiv (Cornell University)|2019. 05. 26.

Face recognition and analysis참고 문헌 37인용 수 7

한 줄 요약

EgoFace는 안경에 장착된 단일 피시아이 카메라를 사용하여 경량이며 실시간으로 에고세트릭 얼굴 성능 캡처와 영상 수준의 재현을 수행하는 시스템을 소개한다. 이 시스템은 CNN(Ego2Exp)를 통해 극도로 왜곡되고 한쪽면에서만 보이는 시각에서 얼굴 표정을 추정하고, 적대적 훈련을 통해 GAN(Exp2VRealFace)을 사용하여 정면 시점의 사진 수준의 정교한 영상을 생성함으로써, 수동 애너테이션이나 웨어러블 하드웨어 없이도 다양한 조명, 배경, 움직임 조건에서도 고해상도 결과를 달성한다.

ABSTRACT

Face performance capture and reenactment techniques use multiple cameras and sensors, positioned at a distance from the face or mounted on heavy wearable devices. This limits their applications in mobile and outdoor environments. We present EgoFace, a radically new lightweight setup for face performance capture and front-view videorealistic reenactment using a single egocentric RGB camera. Our lightweight setup allows operations in uncontrolled environments, and lends itself to telepresence applications such as video-conferencing from dynamic environments. The input image is projected into a low dimensional latent space of the facial expression parameters. Through careful adversarial training of the parameter-space synthetic rendering, a videorealistic animation is produced. Our problem is challenging as the human visual system is sensitive to the smallest face irregularities that could occur in the final results. This sensitivity is even stronger for video results. Our solution is trained in a pre-processing stage, through a supervised manner without manual annotations. EgoFace captures a wide variety of facial expressions, including mouth movements and asymmetrical expressions. It works under varying illuminations, background, movements, handles people from different ethnicities and can operate in real time.

연구 동기 및 목표

• 단일 RGB 카메라를 사용하여 동적이고 통제되지 않은 환경에서 이동식이며 비침습적인 얼굴 성능 캡처를 가능하게 하기 위해.
• 극도로 왜곡되고 한쪽면에서만 보이는 에고세트릭 시각에서 정확한 얼굴 표정을 복원하는 도전 과제를 해결하기 위해.
• 다중 카메라 설정이나 웨어러블 장치가 필요 없이 에고세트릭 입력에서 정면 시점의 사진 수준의 정교한 영상 재현을 생성하기 위해.
• 텔레프레SENCE 및 비디오 컨퍼런싱 응용 프로그램에 적합한 실시간 성능를 달성하기 위해.
• 다양한 민족성, 조명, 움직임에 일반화되는 데이터셋과 훈련 파이프라인 개발하기 위해.

제안 방법

• 감독 학습 방식으로 수동 애너테이션 없이, 단일 에고세트릭 RGB 이미지를 저차원 잠재 공간 내의 얼굴 표정 파라미터로 매핑하는 CNN 기반 네트워크인 Ego2Exp.
• 적대적 훈련을 통해 재구성된 3D 얼굴 모델을 사진 수준의 정교한 정면 영상으로 변환하는 조건부 GAN인 Exp2VRealFace.
• 개인별 훈련을 통해 신원 일관성을 유지하는 파arametric 얼굴 모델을 사용하여 다양한 표정과 시점에서도 일관된 결과를 확보.
• Exp2VRealFace의 훈련 타겟으로 얼굴 모델의 합성 렌더링을 사용하여, 에고세트릭 시각에서 정면 시각으로의 비쌍체 영상 번역을 가능하게 함.
• 네트워크 깊이, 입력 해상도를 줄이고 시간적 모델링을 제거하여 추론 속도를 최적화하여 프레임당 36.2ms로 실시간 동작을 구현.
• 특히 이동식 텔레프레SENCE 사용을 위해 입력 및 출력에 대해 좁은 얼굴 캡처와 해상도를 128×128로 감소시켜 효율성 향상.

실험 결과

연구 질문

• RQ1 안경에 장착된 단일이고 극도로 왜곡된 에고세트릭 카메라가 다중 카메라 시스템과 비교해 정확한 얼굴 표정 추정을 수행할 수 있는가?
• RQ2 수동 감독 없이도 적대적 훈련을 통해 한쪽면에서 기울어진 시각에서 사진 수준의 정교한 정면 영상 재현을 생성할 수 있는가?
• RQ3 다양한 조명 조건, 배경, 비대칭적이고 복잡한 입술 움직임을 포함한 다양한 표정에 대해 시스템의 일반화 능력은 얼마나 뛰어난가?
• RQ4 모든 파이프라인이 소비자 수준 하드웨어에서 실시간으로 작동할 수 있는가? 텔레프레SENCE 및 비디오 컨퍼런싱에 적합한가?
• RQ5 CycleGAN 및 UNIT과 같은 비쌍체 영상 번역 방법보다 시스템이 얼굴 구조와 표정 충실도를 더 잘 유지하는가?

주요 결과

• EgoFace는 단일 외측 시각에서만 사용할 경우에도 최신 정면 시각 방법과 비교해 유사한 얼굴 기하학적 추정 정확도(평균 오차 1.7 mm)를 달성한다.
• 적대적 훈련을 통해 학습된 Exp2VRealFace 네트워크는 얼굴 정체성과 표정을 유지하는 사진 수준의 정교한 정면 재현 영상을 생성하며, CycleGAN 및 UNIT보다 우수한 성능를 보이며, 자연스럽지 않은 얼굴 변형을 유발하지 않는다.
• 최적화된 EgoFace 파이프라인은 ResNet50과 경량 Exp2VRealFace를 사용하여 프레임당 36.2ms로 작동하여 텔레프레SENCE에 적합한 실시간 성능를 확보한다.
• Ego2Exp의 VGG 백본을 ResNet50으로 교체함으로써 추론 시간을 54% 감소시켰다(26.4ms → 11.5ms)면서 정확도 손실는 최소한으로 유지한다.
• Exp2VRealFace의 전체 및 최적화된 버전 간 자가 재현에서 평균 제곱오차(MSE)에 유의미한 차이가 없음을 확인하여 최적화가 시각적 품질을 떨어뜨리지 않음을 입증한다.
• 시스템은 민족성, 다양한 조명, 복잡한 표정, 동적인 배경 등 다양한 주제를 다루며 성능 저하 없이 성공적으로 처리한다.