[논문 리뷰] One-Shot Free-View Neural Talking-Head Synthesis for Video Conferencing

Ting-Chun Wang, Arun Mallya외 1명|arXiv (Cornell University)|2020. 11. 30.

Advanced Vision and Imaging참고 문헌 97인용 수 22

한 줄 요약

이 논문은 단일 소스 이미지와 드라이빙 비디오를 사용하여 고해상도의 대화형 헤드 비디오를 생성하는 일회성 신경망 대화형 헤드 비디오 합성 모델을 제안한다. 이는 새로운 비지도 3D 키포인트 표현을 사용하여 정체성과 동작을 분리함으로써 자유 시점 합성을 가능하게 하며, H.264 대비 10배의 대역폭 절감을 이끌어내면서도 H.264의 CRF 36 수준의 시각적 품질을 유지한다. 또한 비디오 회의에서 동적 시점 회전과 적응형 키포인트 압축을 지원한다.

ABSTRACT

We propose a neural talking-head video synthesis model and demonstrate its application to video conferencing. Our model learns to synthesize a talking-head video using a source image containing the target person's appearance and a driving video that dictates the motion in the output. Our motion is encoded based on a novel keypoint representation, where the identity-specific and motion-related information is decomposed unsupervisedly. Extensive experimental validation shows that our model outperforms competing methods on benchmark datasets. Moreover, our compact keypoint representation enables a video conferencing system that achieves the same visual quality as the commercial H.264 standard while only using one-tenth of the bandwidth. Besides, we show our keypoint representation allows the user to rotate the head during synthesis, which is useful for simulating face-to-face video conferencing experiences.

연구 동기 및 목표

• 2D 기반의 일회성 대화형 헤드 합성에서 고정된 시점 제한 문제를 해결하기 위해, 3D 그래픽스 모델을 사용하지 않고 국소적 자유 시점 합성을 가능하게 한다.
• 정체성에 특화된 외관과 운동 관련 동적 특성을 분리하는 컴act하고 비지도 3D 키포인트 표현을 개발한다.
• 단지 키포인트 표현과 잔차만 전송함으로써 대역폭 효율적인 비디오 회의를 실현하고, H.264 대비 데이터 사용량을 10배 감소시킨다.
• 합성 중에 헤드 회전과 같은 동적 시점 조작을 지원하여 얼굴 대면 비디오 회의를 구현한다.
• 변동하는 네트워크 조건에서 대역폭을 추가로 절감하기 위해 키포인트 메타데이터와 잔차에 대해 적응형 및 이진 인코딩 체계를 설계한다.

제안 방법

• 비지도 방식으로 영상 시퀀스로부터 새로운 3D 키포인트 표현을 학습하여 정체성과 운동 정보를 별개의 구성요소로 분해한다.
• 딥 신경망을 사용하여 소스 이미지의 외관과 3D 키포인트에 인코딩된 운동 신호를 조합함으로써 대화형 헤드 비디오를 합성한다.
• 추론 중에 키포인트 표현에 3D 변환(회전, 이동, 변형)을 적용하여 새로운 시점의 영상을 생성한다.
• 영상의 복잡도에 따라 키포인트 수를 동적으로 감소시키는 적응형 키포인트 기법을 구현하여 대역폭 적응성을 확보한다.
• 정점과 재구성된 프레임 간 잔차에 대해 이진 잠재 코드 인코딩 체계를 사용하여 산술 인코딩을 통해 전송 비용을 절감한다.
• 소스 이미지 품질이 열악해질 경우에만 잔차 인코딩을 통합함으로써 지속적인 재전송 없이 재구성 정밀도를 향상시킨다.

실험 결과

연구 질문

• RQ1 3D 얼굴 모델을 명시적으로 사용하지 않고도 일회성 신경망 대화형 헤드 모델이 자유 시점 합성을 달성할 수 있는가?
• RQ2 비지도 3D 키포인트 표현이 고해상도 비디오 합성을 위해 정체성과 운동을 효과적으로 분리할 수 있는가?
• RQ3 제안된 키포인트 표현이 시각적 품질을 유지하면서 비디오 회의에서 얼마나 대역폭을 절감할 수 있는가?
• RQ4 적응형 키포인트 및 잔차 인코딩 체계가 변화하는 네트워크 조건에서 대역폭 효율을 얼마나 향상시키는가?
• RQ5 특히 실시간 회의 환경에서 H.264보다 훨씬 낮은 비트레이트로도 H.264 수준의 시각적 품질을 달성할 수 있는가?

주요 결과

• 제안된 방법은 벤치마크 데이터셋에서 H.264의 CRF 36 수준의 시각적 품질을 유지하면서도 대역폭 사용량을 10배 감소시켰다.
• 키포인트 표현에 3D 변환을 적용함으로써 국소적 자유 시점 합성을 실현하여 헤드 회전 및 새로운 시점 렌더링이 가능했다.
• 적응형 키포인트 기법은 프레임당 메타데이터 크기를 53.03바이트(1프레임당 0.001618비트)로 줄여 대역폭 효율적인 전송을 가능하게 했다.
• 잔차에 대한 이진 인코딩은 평균적으로 각 업데이트당 13.40KB의 크기만 필요로 하여 소스 이미지 품질이 열악해질 경우의 재전송 오버헤드를 크게 감소시켰다.
• MTurk에서의 사용자 연구 결과, 이 방법은 CRF 36일 때 H.264보다, CRF 37일 때 H.265보다도 선호되었으며, 낮은 비트레이트에서도 동일하거나 더 나은 주관적 품질을 제공함을 시사했다.
• 벤치마크 데이터셋에서 영상 재구성, 운동 전달, 얼굴 방향 조정 작업에서 최신 기술 대비 뛰어난 성능을 보였다.