[논문 리뷰] Audio-Driven Co-Speech Gesture Video Generation

Xian Liu, Qianyi Wu외 5명|arXiv (Cornell University)|2022. 12. 05.

Human Motion and Animation인용 수 13

한 줄 요약

이 논문은 2D 스켈레톤과 같은 구조적 인간 사전 지식을 사용하지 않고 이미지 도메인에서 음성 주도 공화동 제스처 영상 생성을 위한 새로운 통합 프레임워크인 ANGIE를 제안한다. 벡터 양자화된 운동 추출기와 운동 보정 기능을 갖춘 공화동 GPT를 활용하여 재사용 가능한 제스처 패턴과 세밀한 리듬적 동적 특성을 학습함으로써, 음성 음향에서 고해상도이고 현실적인 제스처 영상 생성을 달성한다.

ABSTRACT

Co-speech gesture is crucial for human-machine interaction and digital entertainment. While previous works mostly map speech audio to human skeletons (e.g., 2D keypoints), directly generating speakers' gestures in the image domain remains unsolved. In this work, we formally define and study this challenging problem of audio-driven co-speech gesture video generation, i.e., using a unified framework to generate speaker image sequence driven by speech audio. Our key insight is that the co-speech gestures can be decomposed into common motion patterns and subtle rhythmic dynamics. To this end, we propose a novel framework, Audio-driveN Gesture vIdeo gEneration (ANGIE), to effectively capture the reusable co-speech gesture patterns as well as fine-grained rhythmic movements. To achieve high-fidelity image sequence generation, we leverage an unsupervised motion representation instead of a structural human body prior (e.g., 2D skeletons). Specifically, 1) we propose a vector quantized motion extractor (VQ-Motion Extractor) to summarize common co-speech gesture patterns from implicit motion representation to codebooks. 2) Moreover, a co-speech gesture GPT with motion refinement (Co-Speech GPT) is devised to complement the subtle prosodic motion details. Extensive experiments demonstrate that our framework renders realistic and vivid co-speech gesture video. Demo video and more resources can be found in: https://alvinliu0.github.io/projects/ANGIE

연구 동기 및 목표

• 2D/3D 스켈레톤 사전 지식이 필요 없이 직접 이미지 도메인에서 현실적인 공화동 제스처를 생성하는 도전 과제를 해결하기 위해.
• 재사용 가능한 운동 패턴과 미세한 리듬적 동적 특성의 분해로 공화동 제스처를 모델링하여 해상도 향상.
• 사전 정의된 제스처 규칙이나 후처리 없이 음성 음향을 직접 이미지 시퀀스로 매핑하는 통합 프레임워크 개발.
• 음성 음향과 자연스럽게 동기화되며 신원을 유지하는 고해상도 제스처 영상 생성을 가능하게 하기 위해.

제안 방법

• 비지도 운동 표현에서 재사용 가능한 공화동 제스처 패턴을 학습하는 벡터 양자화된 운동 추출기(VQ-Motion Extractor)를 제안.
• 운동 표현에서 수치적 안정성 확보 및 대칭 정부호 긍정 행렬을 강제하기 위해 코レス키 분해 기반의 양자화 기법을 도입.
• 공간적 위치에 영향을 받지 않는 위치 무관 운동 표현을 설계하여 상대 운동 패턴을 추출.
• 음성 음향에서 이산 운동 코드 시퀀스를 예측하는 공화동 GPT 모델을 활용하여 대규모 제스처 템플릿을 모델링.
• 운동 잔차를 통해 미세한 리듬적 동적 특성을 추가하는 운동 보정 네트워크를 통합하여 음성 프로소디와의 세밀한 동기화 향상.
• 이미지 복원 손실(L1, 인지적 손실)과 AED를 사용하여 신원 유지 성능 평가 및 영상 품질과 정확도 평가.

실험 결과

연구 질문

• RQ1 2D/3D 스켈레톤과 같은 구조적 인간 신체 사전 지식에 의존하지 않고도 이미지 도메인에서 공화동 제스처 영상을 직접 생성할 수 있는가?
• RQ2 벡터 양자화를 활용해 비지도 운동 표현에서 재사용 가능한 공화동 제스처 패턴을 효과적으로 학습할 수 있는가?
• RQ3 GPT 유사 아키텍처가 음성 음향에서 이산 운동 코드를 효과적으로 예측하여 대규모 제스처 템플릿을 모델링할 수 있는가?
• RQ4 운동 잔차를 통해 미세한 리듬적 움직임을 보정하여 음성 프로소디와의 동기화를 향상시키고 현실감을 높일 수 있는가?
• RQ5 기존 방법과 비교해 본 프레임워크는 제스처 품질, 신원 유지, 음성-시각 동기화 측면에서 어떻게 성능을 내는가?

주요 결과

• 제안된 ANGIE 프레임워크는 음성 주도 공화동 제스처 영상 생성 분야에서 최신 기준 성능을 달성하였으며, Fréchet Gesture Distance(FGD)가 1.35로, 분석된 아블레이션보다 뚜렷하게 뛰어난 성능을 보였다.
• 아블레이션 연구 결과, 절대 운동(μ)이나 운동 크기(L)를 양자화하는 것보다 상대 운동 성분(Δμ)을 양자화하는 것이 더 우수한 성능을 내었으며, 전체 모델에서 FGD가 1.35로 하락하였다.
• 운동 보정 모듈을 통한 AED는 기본 모델 대비 15.7% 감소하여, 더 나은 신원 유지 성능을 입증하였다.
• 코드북 분석 결과, 각 코드북 항목이 독립적이고 의미 있는 제스처 패턴을 나타내며, 동일한 코드를 사용할 경우 다양한 소스 이미지 간에도 일관된 운동 생성이 가능하였다.
• 프레임워크는 인지적 손실 42.9와 L1 손실 0.037을 기록하여 고해상도 이미지 복원 품질과 정확도를 입증하였다.
• 양자화 없이 구현한 아블레이션의 경우 FGD가 5.86로 나타나, 재사용 가능한 제스처 패턴 학습에 양자화 메커니즘이 필수적임을 입증하였다.