[논문 리뷰] ZeroEGGS: Zero-shot Example-based Gesture Generation from Speech

Saeed Ghorbani, Ylva Ferstl외 3명|arXiv (Cornell University)|2022. 09. 15.

Human Pose and Action Recognition인용 수 10

한 줄 요약

ZeroEGGS는 단일 짧은 예시 동작 클립만으로도 사전 훈련 없이도 제로샷 스타일 제어가 가능한 음성 주도 전신 제스처 생성을 위한 신경망 프레임워크이다. 변동형 오토인코더를 사용하여 잠재 공간 내에서 분리된 스타일 임베딩을 학습함으로써 다양한 스타일 조작, 혼합 및 다양한 자연스러운 제스처의 확률적 생성이 가능하다.

ABSTRACT

We present ZeroEGGS, a neural network framework for speech-driven gesture generation with zero-shot style control by example. This means style can be controlled via only a short example motion clip, even for motion styles unseen during training. Our model uses a Variational framework to learn a style embedding, making it easy to modify style through latent space manipulation or blending and scaling of style embeddings. The probabilistic nature of our framework further enables the generation of a variety of outputs given the same input, addressing the stochastic nature of gesture motion. In a series of experiments, we first demonstrate the flexibility and generalizability of our model to new speakers and styles. In a user study, we then show that our model outperforms previous state-of-the-art techniques in naturalness of motion, appropriateness for speech, and style portrayal. Finally, we release a high-quality dataset of full-body gesture motion including fingers, with speech, spanning across 19 different styles.

연구 동기 및 목표

• 비교적 새로운 화자와 동작 스타일에 일반화되는 표현력 있고 스타일화된 전신 제스처를 음성에서 생성하는 데 도전하는 것.
• 수작업된 레이블이나 광범위한 훈련 데이터가 아닌 짧은 예시 클립을 통한 스타일 제어를 가능하게 하는 것.
• 유연한 조작과 보간을 위해 잠재 공간 내에서 의미 있는 분리된 스타일 표현을 학습하는 것.
• 확률적 생성 프레임워크를 통해 다양한, 자연스럽고 음성에 적합한 제스처를 생성하는 것.
• 연구의 재현 가능성을 위해 동기화된 음성과 함께 고품질의 다중 스타일 전신 제스처 데이터셋을 공개하는 것.

제안 방법

• 짧은 예시 동작 클립에서 분리된 스타일 임베딩을 학습하기 위해 조건부 변동형 오토인코더(VAE)를 사용한다.
• 원시 스펙트럼 음성 특징을 사용하여 음성 입력에 조건을 부여함으로써 화자 및 언어의 다양성에 강건한 제스처 생성을 가능하게 한다.
• 잠재 공간 내에서 스타일 임베딩을 혼합, 스케일링 또는 보간하여 새로운 스타일 조합을 가능하게 한다.
• 같은 음성 입력에 대해 잠재 공간을 재샘플링하여 동일한 입력에 대해 다양한 제스처 출력을 생성함으로써 인간 운동의 확률적 특성을 포착한다.
• 부드럽고 안정적이며 자연스럽게 보이는 애니메이션을 확보하기 위해 운동 전용 손실 함수를 적용한다.
• 손가락 움직임을 포함한 음성과 동기화된 전신 운동이 포함된 19종의 다양한 제스처 스타일을 포함한 대규모 데이터셋에서 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 단일 예시 클립만으로 스타일 조건을 설정하고 재훈련 없이도 새로운 동작 스타일에 일반화할 수 있는가?
• RQ2 수작업된 통계나 레이블보다 예시 기반 스타일 제어가 더 정교하고 표현력 있는 운동 스타일을 얼마나 잘 포착하는가?
• RQ3 잠재 공간 내에서 학습된 스타일 임베딩이 스타일 간 혼합이나 보간과 같은 의미 있는 조작을 얼마나 잘 지원하는가?
• RQ4 확률적 생성 프레임워크는 결정론적 기준 대비 제스처 출력의 다양성과 자연스러움을 얼마나 향상시키는가?
• RQ5 주관적 평가에서 모델은 훈련 중에 볼 수 없었던 화자, 언어 및 동작 스타일에서 어떻게 성능을 내는가?

주요 결과

• ZeroEGGS는 자체 데이터셋에서 상태기준 기준선(MG)을 모두 주관적 평가 지표에서 앞서갔다: 자연스러움(56.3 ± 22.2), 음성에 적합성(48.9 ± 20.3), 스타일 표현력(58.1 ± 25.9).
• TSG 데이터셋에서 61.9 ± 23.3의 스타일 표현력 점수를 기록하여 기준선(19.8 ± 18.0)을 크게 앞서며 강력한 제로샷 일반화 능력을 입증했다.
• 훈련 중에 볼 수 없었던 새로운 화자와 언어에 대해 고도의 주관적 품질과 스타일 충실도를 유지하며 일반화했다.
• VAE에 의해 가능해진 잠재 공간 내 조작 덕분에 스타일 임베딩 간의 부드러운 보간과 혼합이 가능해 애니메이션 내에서 동적 스타일 전환을 가능하게 했다.
• 강력한 성능에도 불구하고, 음성에 적합성 측면에서 참값 운동(36.7 ± 18.4 vs. 32.7 ± 21.0, TSG 기준)에 비해 여전히 낮은 성능을 보이며 의미론적 제스처 정렬 향상 여지가 있음을 시사했다.
• 모델은 종종 국소적이고 저주파의 움직임(예: 동의 스타일에서의 고개 끄덕임)을 과도하게 부드럽게 만들어, 국소적이고 낮은 주파수의 제스처를 포착하는 데 한계가 있음을 보여주었다.