[논문 리뷰] Compressing Video Calls using Synthetic Talking Heads

Madhav Agarwal, Anchit Gupta외 3명|arXiv (Cornell University)|2022. 10. 07.

Speech and Audio Processing인용 수 4

한 줄 요약

이 논문은 합성 대화 헤드를 활용하여 영상 통화에서 핵심 포인트와 피봇 프레임만 전송함으로써 대역폭을 극도로 줄이는 엔드 투 엔드 영상 압축 시스템을 제안한다. 얼굴 재연, 고밀도 광학 흐름, 프레임 보간, 초해상도 기술을 활용함으로써 시각적 품질을 유지하면서 기록적인 0.0012 BPP의 낮은 비트 전송률을 달성하였으며, 자동 피봇 프레임 선택 기술을 통해 장시간 통화에서도 안정적인 성능을 확보하였다.

ABSTRACT

We leverage the modern advancements in talking head generation to propose an end-to-end system for talking head video compression. Our algorithm transmits pivot frames intermittently while the rest of the talking head video is generated by animating them. We use a state-of-the-art face reenactment network to detect key points in the non-pivot frames and transmit them to the receiver. A dense flow is then calculated to warp a pivot frame to reconstruct the non-pivot ones. Transmitting key points instead of full frames leads to significant compression. We propose a novel algorithm to adaptively select the best-suited pivot frames at regular intervals to provide a smooth experience. We also propose a frame-interpolater at the receiver's end to improve the compression levels further. Finally, a face enhancement network improves reconstruction quality, significantly improving several aspects like the sharpness of the generations. We evaluate our method both qualitatively and quantitatively on benchmark datasets and compare it with multiple compression techniques. We release a demo video and additional information at https://cvit.iiit.ac.in/research/projects/cvit-projects/talking-video-compression.

연구 동기 및 목표

• 낮은 연결성 지역에서 증가하는 영상 통화의 대역폭 수요를 해결하기 위해 대화 헤드 영상에 특화된 압축 기술을 개발하는 것.
• 얼굴 랜드마크, 머리 자세, 표정과 같은 고수준 의미적 콘텐츠를 활용하여 일반 코덱을 초월한 극단적 영상 압축을 실현하는 것.
• 실시간 영상 통화에서 시각적 품질을 유지하면서 비트당 픽셀 수(BPP)를 크게 감소시키는 것.
• 머리 자세나 배경 변화에 기반한 적응형 피봇 프레임 선택 기술을 통해 장시간 영상 통화에서도 안정적인 시각적 품질을 유지하는 것.
• 수신자 측에서 프레임 보간 및 초해상도 네트워크를 활용하여 재구성 품질을 향상시키는 것.

제안 방법

• 통화 시작 시 고해상도 피봇 프레임을 전송하고, 이후 비피봇 프레임은 각각 8바이트의 핵심 포인트만 전송하여 얼굴 기하학과 운동을 표현한다.
• 최신 기술의 얼굴 재연 네트워크를 활용해 핵심 포인트를 검출하고 전송하며, 이를 기반으로 고밀도 광학 흐름을 계산해 피봇 프레임을 왜곡하여 중간 프레임을 재구성한다.
• 수신자 측에서 새로운 프레임 보간 네트워크를 적용하여 핵심 포인트 전송 프레임 사이의 누락된 프레임을 생성함으로써 피봇 업데이트 빈도를 낮춘다.
• 패치 기반 초해상도 네트워크를 활용해 재구성된 프레임을 임의의 고해상도로 업스케일링하여 선명도와 시각적 정확도를 향상시킨다.
• 머리 자세 변화가 15°를 초과하거나 배경 변화가 임계값(d_bg > 0.05)을 초과할 경우 새로운 피봇 프레임을 트리거하는 적응형 피봇 프레임 선택 알고리즘을 도입하여 장기적 재구성 품질을 향상시킨다.
• 포인트당 핵심 포인트 표현을 24바이트에서 8바이트로 최적화하여 전송 오버헤드를 크게 감소시켰다.

실험 결과

연구 질문

• RQ1 합성 생성 기반의 대화 헤드 영상 압축 시스템이 기존의 H.264 및 H.265와 같은 코덱보다 상당히 낮은 BPP를 달성할 수 있는가?
• RQ2 각각 8바이트의 컴act한 핵심 포인트와 고밀도 흐름 왜곡을 조합하여 고품질의 대화 헤드 영상을 재구성하는 데 얼마나 효과적인가?
• RQ3 수신자 측에서의 프레임 보간 기술이 대역폭을 증가시키지 않고도 압축 효율을 얼마나 향상시키는가?
• RQ4 적응형 피봇 프레임 선택 기술이 동적인 머리 자세나 배경 변화가 있는 장시간 영상 통화에서 품질 저하를 어떻게 완화하는가?
• RQ5 초해상도 재구성 기술이 저비트 전송률에도 불구하고 시각적 품질을 충분히 향상시킬 수 있는가?

주요 결과

• 제안된 방법은 H.264(0.0057) 및 H.265(0.0039)보다 상당히 낮은 BPP 0.0012를 달성하면서도 경쟁력 있는 PSNR(26.73)와 SSIM(0.81)을 유지한다.
• 프레임 보간 기술을 추가함으로써 BPP는 0.0006으로 감소했으며, PSNR는 27.73 이상을 유지하여 극도로 낮은 품질 손실로 효과적인 압축을 실현하였다.
• 초해상도 네트워크를 적용함으로써 16×16 패치 기준 PSNR 25.34에서 64×64 패치 기준 27.47로 향상되었으며, 이는 패치 크기 선택이 재구성 품질에 영향을 준다는 것을 보여준다.
• γ > 15° 및 d_bg > 0.05 임계값을 적용한 적응형 피봇 프레임 선택 기술은 약 매 10초마다 피봇 프레임을 업데이트하며, 과도한 대역폭 비용 없이 장시간 통화에서의 시각적 품질을 향상시켰다.
• 핵심 포인트 전송 크기를 포인트당 24바이트에서 8바이트로 줄여 메타데이터 오버헤드를 66% 감소시켰다.
• 정성적 결과 분석에서 기존 기준 방법 대비 더 선명하고 자연스러운 대화 헤드 영상이 재현되었으며, 특히 장시간 및 동적인 영상 시퀀스에서 뚜렷한 성능 향상을 보였다.