[논문 리뷰] Taming Diffusion Models for Audio-Driven Co-Speech Gesture Generation

Lingting Zhu, Xian Liu외 4명|arXiv (Cornell University)|2023. 03. 16.

Speech and Audio Processing인용 수 7

한 줄 요약

이 논문은 음성 기반 공화동작 생성을 위한 확산 기반 프레임워크인 DiffGesture를 제안한다. 이는 교차 모odal 음성-동작 의존성을 모델링하기 위해 확산 음성-동작 트랜스포머를 활용하고, 시간적 일관성을 보장하기 위해 확산 동작 안정화 모듈을 도입한다. 암시적 분류기 없는 가이드라인을 통합함으로써 벤치마크 데이터셋에서 더 높은 다양성, 음성 상관관계 및 동작 품질을 달성하며, 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Animating virtual avatars to make co-speech gestures facilitates various applications in human-machine interaction. The existing methods mainly rely on generative adversarial networks (GANs), which typically suffer from notorious mode collapse and unstable training, thus making it difficult to learn accurate audio-gesture joint distributions. In this work, we propose a novel diffusion-based framework, named Diffusion Co-Speech Gesture (DiffGesture), to effectively capture the cross-modal audio-to-gesture associations and preserve temporal coherence for high-fidelity audio-driven co-speech gesture generation. Specifically, we first establish the diffusion-conditional generation process on clips of skeleton sequences and audio to enable the whole framework. Then, a novel Diffusion Audio-Gesture Transformer is devised to better attend to the information from multiple modalities and model the long-term temporal dependency. Moreover, to eliminate temporal inconsistency, we propose an effective Diffusion Gesture Stabilizer with an annealed noise sampling strategy. Benefiting from the architectural advantages of diffusion models, we further incorporate implicit classifier-free guidance to trade off between diversity and gesture quality. Extensive experiments demonstrate that DiffGesture achieves state-of-theart performance, which renders coherent gestures with better mode coverage and stronger audio correlations. Code is available at https://github.com/Advocate99/DiffGesture.

연구 동기 및 목표

• GAN 기반 방법이 음성 기반 동작 생성에서 겪는 문제, 예를 들어 모드 붕괴와 안정적인 학습이 어려운 점을 해결하기 위해.
• 일반적으로 정적 데이터에 사용되는 확산 모델을 시간적으로 일관되고 고해상도의 동작 시퀀스를 생성하도록 조건부로 적용하기 위해.
• 음성과 동작 간의 교차 모달 정렬을 향상시키기 위해 음성 및 스켈레톤 시퀀스의 장기적인 시간적 의존성을 모델링하기 위해.
• 기본적인 확산 추론에서 i.i.d. 노이즈 샘플링으로 인한 시간적 일관성 손실을 제거하기 위해.
• 암시적 분류기 없는 가이드라인을 통해 다양성과 품질 사이의 제어 가능한 트레이드오프를 가능하게 하기 위해.

제안 방법

• 노이즈가 점차 추가되고 음성 조건부 컨텍스트 특징을 사용해 역노이징되는 방식으로, 스켈레톤 시퀀스와 음성 클립에 대한 조건부 확산 과정으로 동작 생성 작업을 정식화한다.
• 각 프레임의 스켈레톤 및 음성 특징을 시간 차원에 따라 연결하고, 트랜스포머 인코더를 통해 처리함으로써 장거리 의존성을 모델링하는 확산 음성-동작 트랜스포머를 설계한다.
• 시간적 불일치를 줄이고 운동의 매끄러움을 향상시키기 위해 안내된 노이즈 샘플링 전략을 적용하는 확산 동작 안정화 모듈을 도입한다.
• 조건부 및 무조건적 확산 모델을 함께 학습함으로써 암시적 분류기 없는 가이드라인을 활용하여 추론 시 다양성과 정확도 사이의 조정 가능한 트레이드오프를 가능하게 한다.
• 오류 누적을 방지하고 전체 동작 클립의 효율적이고 종단 간(end-to-end) 합성 가능성을 확보하기 위해 비자기적(non-autoregressive) 생성 파이프라인을 사용한다.
• 대규모 음성-동작 데이터셋을 기반으로 종단 간 학습을 수행하며, TED Gesture 및 TED Expressive 벤치마크를 모두 활용한다.

실험 결과

연구 질문

• RQ1 지속적인 음성 입력을 조건으로 하여 고해상도이고 시간적으로 일관된 공화동작을 효과적으로 생성할 수 있는가?
• RQ2 순서에서 순서로의 생성 프레임워크에서 교차 모달 음성-동작 의존성을 효과적으로 모델링할 수 있는가?
• RQ3 확산 과정을 안정화시켜 생성된 스켈레톤 시퀀스에서 시간적 일관성 손실을 방지할 수 있는 메커니즘은 무엇인가?
• RQ4 암시적 분류기 없는 가이드라인이 동작 생성에서 다양성과 품질의 균형을 얼마나 향상시킬 수 있는가?
• RQ5 모드 커버리지, 음성 상관관계 및 지각 품질 측면에서 GAN 기반 베이스라인에 비해 제안된 프레임워크는 어떻게 비교되는가?

주요 결과

• DiffGesture는 TED Gesture 및 TED Expressive 데이터셋 모두에서 최신 기술 수준의 성능을 달성하였으며, 모든 주요 지표에서 이전의 GAN 기반 방법을 뛰어넘었다.
• TED Gesture에서 Fréchet Gesture Distance (FGD)는 1.506을 기록했고, TED Expressive에서는 2.600을 기록하여 다음으로 우수한 베이스라인을 크게 앞서갔다.
• TED Expressive에서 경계 커버리지(BC) 스코어는 0.718을 기록하여 강력한 모드 커버리지와 모드 붕괴 감소를 나타냈다.
• TED Expressive에서 다양성 지표는 182.757에 도달하여 다양한 표현력 있는 동작 생성 능력이 뛰어나다는 것을 입증했다.
• 사용자 연구 결과, 인간 평가자들이 자연스러움, 매끄러움, 동기화성에 대해 평균 점수 4.5점(5점 만점)을 주어 높은 지각 품질을 확인했다.
• 절단 실험 결과, 확산 동작 안정화 모듈과 암시적 분류기 없는 가이드라인이 높은 성능을 달성하는 데 필수적임을 확인하였으며, 이들을 제거할 경우 FGD와 BC 모두에 상당한 감소가 발생했다.