[논문 리뷰] Progress in animation of an EMA-controlled tongue model for acoustic-visual speech synthesis

Ingmar Steiner, Slim Ouni|arXiv (Cornell University)|2012. 01. 19.

Phonetics and Phonology Research참고 문헌 16인용 수 3

한 줄 요약

이 논문은 자기공명영상(MRI) 기반 기하학적 구조와 전자기운동측정(EMA) 동작 측정 데이터를 사용하여 3D 운동학적 혀 모델을 위한 뼈대 기반 애니메이션 기법을 제안한다. 이 방법은 임베디드 B-스켈레톤 라이팅을 통해 EMA 코ils의 궤적을 탄성 메esh에 매핑함으로써 생체역학적 모델링 없이도 현실적인 연출을 가능하게 하며, 생체역학적 제약 없이 데이터 기반의 현실적인 혀 애니메이션을 구현한다.

ABSTRACT

We present a technique for the animation of a 3D kinematic tongue model, one component of the talking head of an acoustic-visual (AV) speech synthesizer. The skeletal animation approach is adapted to make use of a deformable rig controlled by tongue motion capture data obtained with electromagnetic articulography (EMA), while the tongue surface is extracted from volumetric magnetic resonance imaging (MRI) data. Initial results are shown and future work outlined.

연구 동기 및 목표

• 실제 3D 혀 모델을 통합하여 청각-시각적 텍스트-음성 합성(AV-TTS) 시스템에서 시각적 자연스러움과 이해 가능성 향상을 도모한다.
• 기존 AV-TTS 시스템에서 혀와 이를 포함하지 않는 내부 구강 운동 데이터의 부족 문제를 해결한다.
• EMA 운동 측정 데이터와 MRI 기반 기하학을 활용한 데이터 기반, 비생체역학적 혀 애니메이션 방법을 개발한다.
• 일반적인 3D 소프트웨어를 사용하여 실시간으로 대화형 헤드 GUI에서 혀의 동기화 애니메이션을 가능하게 한다.
• 행동 기반 애니메이션 제어를 통해 TTS 시스템과 직접 통합 가능한 혀 모델의 기반을 마련한다.

제안 방법

• 음역도의 고해상도 3D 부피 MRI 데이터를 기반으로 혀 모델을 구축하여 해부학적 기하학을 제공한다.
• B-뼈로 구성된 뼈대 라이팅을 혀 메쉬에 내장하고, 각 뼈대에 대응하는 정점 그룹을 할당하여 변형 제어를 수행한다.
• Carstens AG500 시스템(200 Hz)을 사용한 EMA 운동 측정 데이터로 혀 상단에 최대 12개의 코일의 3차원 위치와 자세를 추적하며, 희박하지만 풍부한 운동학적 데이터를 확보한다.
• 역운동역학(IK)을 뼈대 라이팅에 적용하여 EMA 코일 궤적에 기반한 메쉬 애니메이션을 구현함으로써 현실적인 변형을 가능하게 한다.
• 중립 바인드 포즈에서 EMA 데이터에 모델을 정렬하며, 코일 위치를 메쉬 정점에 수동으로 정렬한다.
• Blender에서 키프레임 기반 비선형 애니메이션(NLA) 액션을 사용해 애니메이션 파이프라인을 내보내어 경량 게임 엔진에서 실시간 렲영을 위한 이식성을 확보한다.

실험 결과

연구 질문

• RQ1 생체역학적 제약 없이 EMA 운동 측정 데이터를 효과적으로 3D 혀 모델 애니메이션에 활용할 수 있는가?
• RQ2 희박한 EMA 데이터를 고밀도 3D 메쉬에 어떻게 매핑하여 현실적인 혀 변형을 생성할 수 있는가?
• RQ3 탄성 B-뼈 라이팅과 함께 MRI 기반 기하학을 활용한 뼈대 기반 애니메이션 접근법이 현실적인 혀 운동을 달성할 수 있는가?
• RQ4 다른 화자 간에 EMA 코일 위치와 MRI 기반 혀 메쉬를 정렬하는 데 발생하는 주요 과제는 무엇인가?
• RQ5 EMA 데이터 오류와 이질적 데이터를 어떻게 보완하여 안정적이고 자연스러운 애니메이션을 확보할 수 있는가?

주요 결과

• EMA 데이터와 MRI 기하학을 활용하여 현실적인 혀 애니메이션을 성공적으로 생성하였으며, 반복적인 [ta] 발음에서 시각적 타당성이 확인되었다.
• EMA 코일의 자세 데이터 활용이 위치 데이터의 희박함을 보완하여 애니메이션의 안정성을 향상시켰다.
• MRI 메쉬를 EMA 코일 위치에 수동으로 정렬한 결과, 최적의 피팅이 이루어지지 않아 자동 정렬 방법의 개선이 필요함을 시사했다.
• B-뼈와 IK를 활용한 뼈대 기반 애니메이션 접근법은 물리 시뮬레이션 없이도 혀 메쉬의 현실적인 변형을 가능하게 하였다.
• 표준 형식(COLLADA 등)을 통해 애니메이션 파이프라인을 내보내어 실시간 게임 엔진에서 효율적인 GUI 렌더링을 위한 통합이 가능했다.
• 향후 연구는 자동 정렬, EMA 데이터 정제, 행동 기반 제어를 통한 TTS 시스템과의 직접 통합에 초점을 맞출 것이다.