[논문 리뷰] DiffMotion: Speech-Driven Gesture Synthesis Using Denoising Diffusion Model

Fan Zhang, Naye Ji외 2명|arXiv (Cornell University)|2023. 01. 24.

Hand Gesture Recognition Systems인용 수 4

한 줄 요약

이 논문은 음성 기반 3D 제스처 합성용 확산 기반 생성 모델인 DiffMotion을 제안한다. 이 모델은 자동회귀적 시간 인코더와 노이즈 제거 확산 모듈을 사용하여 음성과 제스처 간의 복잡한 일대다 매핑을 학습한다. 방법은 다양한 자연스러운 제스처를 생성하며, 음성의 리듬과 정확히 동기화되며, 객관적 및 주관적 평가에서 최신 기술보다 뛰어난 성능을 보인다. 인간 평가 결과는 실제 동작 캡처 데이터와 거의 동일하다.

ABSTRACT

Speech-driven gesture synthesis is a field of growing interest in virtual human creation. However, a critical challenge is the inherent intricate one-to-many mapping between speech and gestures. Previous studies have explored and achieved significant progress with generative models. Notwithstanding, most synthetic gestures are still vastly less natural. This paper presents DiffMotion, a novel speech-driven gesture synthesis architecture based on diffusion models. The model comprises an autoregressive temporal encoder and a denoising diffusion probability Module. The encoder extracts the temporal context of the speech input and historical gestures. The diffusion module learns a parameterized Markov chain to gradually convert a simple distribution into a complex distribution and generates the gestures according to the accompanied speech. Compared with baselines, objective and subjective evaluations confirm that our approach can produce natural and diverse gesticulation and demonstrate the benefits of diffusion-based models on speech-driven gesture synthesis.

연구 동기 및 목표

• 가상 인간 애니메이션에서 음성과 제스처 간의 본질적인 일대다 매핑 문제를 해결하기 위해.
• 결정론적 또는 오토에코더 기반 모델을 넘어서 자연스럽고 다양한 음성 기반 제스처 합성 성능을 향상시키기 위해.
• 확산 모델이 교차 모odal 제스처 생성 분야에서 아직 제한적으로 사용된 점을 고려해 잠재력을 탐색하기 위해.
• 수동적인 제스처 애너테이션 없이도 완전히 엔드 투 엔드로 작동하는 약한 감독 기반 프레임워크를 개발하기 위해.
• 음성의 리듬과 의미에 정확히 부합하는 고품질의 시간적으로 일관되고 표현력 있는 제스처를 생성하기 위해.

제안 방법

• 자기회귀적 시간 인코더는 순차적인 음성과 이전 제스처 특징을 처리하여 장거리 시간적 의존성을 파악한다.
• 노이즈 제거 확산 확률 모델은 가우시안 노이즈에서 시작하여 잠재 표현을 점진적으로 정제하여 현실적인 3D 제스처 시퀀스를 생성한다.
• 확산 모듈은 음성 임베딩과 이전 제스처 상태에 조건을 걸어 다양한 출력을 조건부로 생성할 수 있도록 한다.
• 모델은 재구성 오차를 최소화하고 샘플 품질을 향상시키기 위해 변분 하한 최적화를 통해 훈련된다.
• 아키텍처는 수동 애너테이션 없이도 비정형의 원시 동작 캡처 데이터에서 엔드 투 엔드 훈련이 가능하게 한다.
• 추론 과정은 역노이즈 제거 단계로 구성되며, 품질과 속도의 균형을 맞추기 위해 확산 단계 수를 하이퍼파라미터로 조정한다.

Figure 1: Random samples from DiffMotion can give many distinct yet natural output gestures within and between sequences, even if the input speech audio is the same.

실험 결과

연구 질문

• RQ1 확산 기반 모델이 음성과 제스처 간의 복잡한 일대다 매핑을 효과적으로 학습할 수 있는가?
• RQ2 기존의 생성 모델들(예: GANs, VAEs, 정규화 플로우)과 비교해 DiffMotion 모델은 다양한 자연스러운 제스처를 얼마나 잘 생성하는가?
• RQ3 확산 단계 수가 제스처 품질, 다양성, 추론 속도에 어떤 영향을 미치는가?
• RQ4 훈련 데이터에 존재하지 않는 경우에도 모델은 현실적이면서 음성의 리듬과 정확히 일치하는 제스처를 생성할 수 있는가?
• RQ5 사람 평가에서 모델의 성능이 실제 동작 캡처 데이터에 얼마나 가까이 도달하는가?

주요 결과

• DiffMotion는 인간다움 점수 3.89 ± 0.95를 기록하여 실제 동작 캡처 데이터(3.89 ± 0.93)와 거의 동일한 수준의 인지적 현실성 수준을 확보했다.
• 적절성 평가에서 3.93 ± 0.93의 점수를 기록하여 제스처와 음성 콘텐츠 간 강력한 일치를 보였다.
• 다양성 평가에서 DiffMotion(3.91 ± 0.96)은 실제 데이터(3.60 ± 1.02)를 뛰어넘어 데이터셋에 존재하는 것보다 더 다양한 제스처를 생성했다.
• 최적의 확산 단계 수는 100으로, 운동의 연속성과 추론 효율성 사이의 균형을 잘 맞췄다.
• N=1000을 초과하면 추론 시간이 급격히 증가했고, 세부 사항의 과도한 스무딩으로 인해 이상한 자세가 가끔 생성되었다.
• N=2500에서 검증 손실은 0.10을 기록했지만, 프레임당 추론 시간은 8.02초로, 품질과 속도 사이의 상충 관계를 드러냈다.

Figure 2: DiffMotion schematic. The model consists of an Autoregressive Temporal Encoder and a Denoising Diffusion Probabilistic Module.