[논문 리뷰] Real-Time Lip Sync for Live 2D Animation

Deepali Aneja, Wilmot Li|arXiv (Cornell University)|2019. 10. 19.

Speech and Audio Processing참고 문헌 29인용 수 9

한 줄 요약

이 논문은 실시간으로 작동하는 딥러닝 기반의 립싱크 시스템을 제안하며, 스트리밍 오디오를 200ms 미만의 지연으로 처리하는 LSTM 모델을 사용하여 정확한 비세미(sequence)를 생성한다. 타겟된 특징 공학 및 데이터 증강 기법을 통해 소량의 수동 애니메이션 학습 데이터(13~20분)로도 높은 품질의 결과를 달성하며, 인간 평가에서 실시간 및 오프라인 방법을 모두 앞서는 성능을 보였다.

ABSTRACT

The emergence of commercial tools for real-time performance-based 2D animation has enabled 2D characters to appear on live broadcasts and streaming platforms. A key requirement for live animation is fast and accurate lip sync that allows characters to respond naturally to other actors or the audience through the voice of a human performer. In this work, we present a deep learning based interactive system that automatically generates live lip sync for layered 2D characters using a Long Short Term Memory (LSTM) model. Our system takes streaming audio as input and produces viseme sequences with less than 200ms of latency (including processing time). Our contributions include specific design decisions for our feature definition and LSTM configuration that provide a small but useful amount of lookahead to produce accurate lip sync. We also describe a data augmentation procedure that allows us to achieve good results with a very small amount of hand-animated training data (13-20 minutes). Extensive human judgement experiments show that our results are preferred over several competing methods, including those that only support offline (non-live) processing. Video summary and supplementary results at GitHub link: https://github.com/deepalianeja/CharacterLipSync2D

연구 동기 및 목표

• 실시간으로 높은 품질의 립싱크를 가능하게 하여, 캐릭터가 실시간 음성에 자연스럽게 반응할 수 있도록 하는 것.
• 실시간 처리 제약 상 전사본이나 상당한 레이트레이트를 확보할 수 없음에도 정확한 비세미 시퀀스를 생성하는 문제를 해결하는 것.
• 효과적인 데이터 증강 전략을 개발하여 대량의 수동 애니메이션 학습 데이터에 의존하는 것을 줄이는 것.
• 비세미 전이의 타이밍을 향상시키기 위해 LSTM 아키텍처에 소량의 레이크어웨이를 통합하여 립싱크의 청각적 품질을 향상시키는 것.
• 후처리 보정이 불가능한 라이브 공연 환경에서도 안정적으로 작동할 수 있는 시스템을 구축하는 것.

제안 방법

• 시스템은 스트리밍 오디오 입력을 실시간으로 이산 비세미 시퀀스로 매핑하기 위해 장기 기억 순환 신경망(Long Short-Term Memory, LSTM)을 사용한다.
• 음성 특징은 비세미 전이에 관련된 음소적 내용을 잘 포착하도록 철저히 설계되었으며, 스펙트럼적 및 시간적 특성도 포함된다.
• 비세미 전이의 타이밍 정확도를 향상시키기 위해 LSTM 아키텍처에 소량의 레이크어웨이(몇 프레임)를 통합한다.
• 기존 수동 애니메이션 시퀀스에서 유도된 합성 데이터에 대해 데이터 증강 절차를 적용하여 효과적인 학습 데이터 크기를 늘리면서도 스타일 일관성을 유지한다.
• 모델은 오디오 입력 기반으로 각 타임스텝에서 정확한 비세미를 예측하기 위해 교차 엔트로피 손실을 사용하여 훈련된다.
• 낮은 지연 추론을 최적화하여 200ms 이내의 처리 지연을 달성하였으며, 라이브 공연에 적합하다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 소량의 지연으로 스트리밍 오디오에서 실시간으로 정확한 비세미 시퀀스를 생성할 수 있는가?
• RQ2 소량의 수동 애니메이션 학습 데이터를 효과적으로 활용하여 강력한 립싱크 모델을 훈련시킬 수 있는가?
• RQ3 소량의 레이크어웨이가 비세미 전이의 청각적 품질 향상에 어떤 역할을 하는가?
• RQ4 데이터 증강 기법이 제한된 학습 데이터로 모델의 일반화 능력을 크게 향상시킬 수 있는가?
• RQ5 생성된 립싱크의 청각적 품질은 기존의 오프라인 및 실시간 방법과 비교해 어떻게 다른가?

주요 결과

• 제안된 시스템은 종합적인 지연가 200ms 미만으로 구현되어 실시간 공연에 적합한 반응성 있는 립싱크를 제공한다.
• 인간 평가 결과, 이 시스템의 결과는 오프라인 처리가 필요한 경쟁 기법들까지 포함해 다수의 기법을 앞서는 것으로 나타났다.
• 수동 애니메이션 학습 데이터가 단 13~20분으로도 효과적인 데이터 증강 및 특징 공학 덕분에 높은 품질의 결과를 달성하였다.
• LSTM 아키텍처에 소량의 레이크어웨이를 통합함으로써 비세미 전이의 정확도가 크게 향상되었으며, 청각적으로 불쾌한 오류가 감소하였다.
• 모델은 다양한 2D 애니메이션 스타일로 일반화가 잘 되어 있으며, 정지 영상 및 이산 비세미를 사용하는 스타일리시한 3D 애니메이션에도 적용 가능하다.
• 광범위한 인간 평가 실험을 통해 기존 상용 도구들보다 청각적 품질에서 뛰어난 성능을 보였으며, 이는 시스템의 우수성을 검증하였다.