[논문 리뷰] FaceVR: Real-Time Facial Reenactment and Eye Gaze Control in Virtual Reality

Justus Thies, Michael Zollhöfer외 3명|arXiv (Cornell University)|2016. 10. 11.

Face recognition and analysis참고 문헌 58인용 수 41

한 줄 요약

FaceVR는 HMD 내장형 적외선 눈 추적 기술과 RGB-D 얼굴 복원, 모델 기반 재렌더링을 융합하여 가상현실에서 실시간으로 눈을 고려한 얼굴 재연을 구현하는 이미지 기반 방법을 제안한다. 이는 VR 화상 회의에서 가림이 없는 얼굴을 사진처럼 사실적으로 렌더링할 수 있게 하며, 실제 존재감을 크게 향상시킨다.

ABSTRACT

We propose FaceVR, a novel image-based method that enables video teleconferencing in VR based on self-reenactment. State-of-the-art face tracking methods in the VR context are focused on the animation of rigged 3d avatars. While they achieve good tracking performance the results look cartoonish and not real. In contrast to these model-based approaches, FaceVR enables VR teleconferencing using an image-based technique that results in nearly photo-realistic outputs. The key component of FaceVR is a robust algorithm to perform real-time facial motion capture of an actor who is wearing a head-mounted display (HMD), as well as a new data-driven approach for eye tracking from monocular videos. Based on reenactment of a prerecorded stereo video of the person without the HMD, FaceVR incorporates photo-realistic re-rendering in real time, thus allowing artificial modifications of face and eye appearances. For instance, we can alter facial expressions or change gaze directions in the prerecorded target video. In a live setup, we apply these newly-introduced algorithmic components.

연구 동기 및 목표

• 사용자가 HMD를 착용하고 있어도 대화 상대자의 생명 그림 같은, 가림이 없는 애니메이션을 볼 수 있도록 현실적인 사진처럼 사실적인 VR 화상 회의를 실현한다.
• HMD가 얼굴을 가리기 때문에 발생하는 자연스러운 표정과 눈의 시선 인식이 손상되는 문제를 해결한다.
• 정확한 눈의 시선 추적과 소스 영상에서 타겟 영상로의 현실적인 외형 전달을 지원하는 실시간 얼굴 재연 시스템을 개발한다.
• 스테레오 렌더링을 통합하여 VR 헤드셋에서의 몰입감 있는 디스플레이를 지원하고 가상 회의에서의 공존감을 향상시킨다.
• 사전 기록된 타겟 영상에서 눈의 시선 재지향 및 표정 편집과 같은 인위적 수정을 현실감 있게 유지하면서도 현실감을 해치지 않게 한다.

제안 방법

• 외부 RGB-D 카메라를 사용하여 HMD를 착용한 사용자의 강체 및 비강체 얼굴 운동을 캡처하여 실시간 3D 얼굴 복원을 가능하게 한다.
• HMD 내부의 적외선 카메라를 활용하여 눈의 움직임, 특히 눈의 시선 방향과 깜빡임을 데이터 기반의 무작위 숲 기반 분류 방법을 사용해 실시간으로 추적한다.
• 모델 기반 재연 파이프라인을 적용하여 소스 연기자(또는 HMD가 없는 사람)의 3D 영상에서 얻은 얼굴 기하학, 외형, 조명 정보를 HMD를 착용한 사용자의 운동으로 전달한다.
• 학습된 외형 및 조명 파rameter를 가진 3D 얼굴 모델을 사용하여 눈과 입과 같은 얼굴 영역을 사진처럼 사실적으로 재렌더링한다.
• 소스와 타겟의 머리 자세를 정렬하여 얼굴 기능(예: 입 안쪽)의 교차 투영을 가능하게 하며, 추적 안정성을 높이기 위해 선택적 강체 카메라 고정을 지원한다.
• VR 헤드셋과의 호환성을 위해 스테레오 출력 렌더링을 지원하여 가상 회의에서의 몰입감과 공존감을 향상시킨다.

실험 결과

연구 질문

• RQ1 일반적인 센서와 이미지 기반 기법만을 사용하여 레이어드 3D 애니메이션 캐릭터에 의존하지 않고도 VR에서 실시간으로 눈을 고려한 얼굴 재연을 달성할 수 있는가?
• RQ2 얼굴이 HMD에 의해 가려진 상태에서 내장된 적외선 카메라 데이터만으로 눈의 시선과 깜빡임을 실시간으로 정확하게 추적할 수 있는가?
• RQ3 사전 기록된 소스 영상에서 실시간으로 HMD를 착용한 사용자에게 사진처럼 사실적인 얼굴 외형과 표정을 얼마나 정확하게 전달할 수 있는가?
• RQ4 스테레오 렌더링과 눈을 고려한 재연의 통합이 VR 화상 회의에서의 공존감 인식에 어떤 영향을 미치는가?
• RQ5 실시간 얼굴 재연 과정에서 머리 자세 변화와 얼굴 가림 문제를 다룰 때의 주요 제약 조건은 무엇인가?

주요 결과

• 외부 RGB-D 카메라와 내부 적외선 카메라의 데이터 융합 덕분에, HMD를 착용한 상태에서도 안정적인 얼굴 추적과 재연이 가능한 실시간 성능을 달성한다.
• 무작위 숲 기반의 제안된 눈 추적 방법은 낮은 계산 비용으로도 높은 정확도를 달성하여 눈의 시선 방향과 깜빡임을 정밀하게 감지할 수 있다.
• 감성 평가 결과, FaceVR는 대화 상대와 얼굴을 마주 보는 것 같은 인식을 크게 향상시키며, 스테레오 출력과 모노스코픽 출력의 평균 평가 점수는 각각 2.281과 2.09를 기록했다.
• 시스템은 사전 기록된 영상에서 눈의 시선 재지향 및 표정 편집과 같은 인위적 수정을 성공적으로 구현하였으며, 사진처럼 사실적인 품질을 유지했다.
• 스테레오 재렌더링을 지원함으로써 몰입감을 향상시키고 표준 VR 헤드셋과의 호환성을 확보하여 종합적인 화상 회의 경험을 향상시켰다.
• 한계점으로는 타겟 영상에서 강체 머리 자세를 수정할 수 없고, 제한된 적외선 카메라 시야로 인해 상부 얼굴의 일부가 가려지는 문제가 있으며, 이는 향후 연구 과제로 간주된다.