[논문 리뷰] Speech animation using electromagnetic articulography as motion capture data

Ingmar Steiner, Korin Richmond외 1명|arXiv (Cornell University)|2013. 10. 30.

Phonetics and Phonology Research참고 문헌 19인용 수 3

한 줄 요약

이 논문은 전자기 운동측정법(EMA) 데이터를 입력으로 사용하여 경량의 움직임 캡처 기반으로 말의 발성 기관을 애니메이션하는 방법을 제시한다. EMA 코ils의 위치를 BVH 호환 워크플로우에서 뼈대 관절로 간주함으로써, 측정된 EMA 궤적과 95%의 상관관계를 보이는 실제적인 3D 혀와 턱 애니메이션을 생성하며, 오픈소스 도구를 사용하여 실시간 시각화 및 멀티미디어 및 오디오시각 합성 응용 프로그램에의 통합을 가능하게 한다.

ABSTRACT

Electromagnetic articulography (EMA) captures the position and orientation of a number of markers, attached to the articulators, during speech. As such, it performs the same function for speech that conventional motion capture does for full-body movements acquired with optical modalities, a long-time staple technique of the animation industry. In this paper, EMA data is processed from a motion-capture perspective and applied to the visualization of an existing multimodal corpus of articulatory data, creating a kinematic 3D model of the tongue and teeth by adapting a conventional motion capture based animation paradigm. This is accomplished using off-the-shelf, open-source software. Such an animated model can then be easily integrated into multimedia applications as a digital asset, allowing the analysis of speech production in an intuitive and accessible manner. The processing of the EMA data, its co-registration with 3D data from vocal tract magnetic resonance imaging (MRI) and dental scans, and the modeling workflow are presented in detail, and several issues discussed.

연구 동기 및 목표

• EMA 데이터를 운동 캡처 입력으로 사용하여 실시간으로 직관적인 말 발성 시각화를 가능하게 하기 위해.
• 기존의 규칙 기반 또는 생체역학적으로 복잡한 모델의 한계를 극복하기 위해 직접 기존의 EMA 데이터를 활용하기 위해.
• 멀티미디어 및 AV 말 합성 시스템에 발성 애니메이션을 통합하기 위한 가벼운 오픈소스 파이프라인을 개발하기 위해.
• 개별 환자에 맞는 MRI 및 치아 스캔과의 공통 캘리브레이션을 통해 다양한 환자 간 정규화 문제를 피하기 위해.
• 맞춤형 시뮬레이션 프레임워크 없이도 일반 소프트웨어를 사용해 기능적이고 실시간으로 작동하는 발성 애니메이션 시스템을 만들 수 있는지 검증하기 위해.

제안 방법

• 표준 애니메이션 도구와의 호환성을 확보하기 위해 BVH 파일 형식을 사용하여 mngu0 코퍼스의 EMA 데이터를 운동 캡처 입력으로 처리하였다.
• 동일한 환자에서의 고해상도 MRI와 치아 스캔 자료를 기반으로 주관적이고 해부학적으로 정확한 3D 혀 메쉬를 생성하였다.
• 스플라인 역운동학적 기법(IK)을 사용하여 NURBS 기반 혀 모델을 변형하였으며, EMA 코일 위치가 스플라인의 제어점을 조종하였다.
• 메쉬의 정점 그룹을 변형된 스플라인에 따라 가중치를 부여하는 암바쳐 시스템을 사용하여 혀를 래핑함으로써 부드러운 변형을 구현하였다.
• 하악의 인현치에 부착된 EMA 코일 데이터를 기반으로 단순 힌지 기반 수정자를 적용하여 턱을 애니메이션하였다.
• palate 윤곽을 기준으로 수동으로 EMA, MRI, 치아 스캔 데이터를 공통 캘리브레이션하여 공간적 정렬을 확보하였다.

실험 결과

연구 질문

• RQ1 표준 애니메이션 파이프라인을 사용할 때, EMA 데이터를 효과적으로 운동 캡처 데이터로 재사용하여 실제적인 3D 발성 애니메이션을 이끌 수 있는가?
• RQ2 희박한 메쉬 토폴로지 조건에서도 EMA 기반 애니메이션은 실제 발성 운동의 운동역학을 얼마나 정확히 유지할 수 있는가?
• RQ3 개별 환자에 맞는 MRI 및 치아 스캔 자료를 사용할 경우, 일반 모델 대비 해부학적 정확도가 얼마나 향상되는가?
• RQ4 코일 위치를 직접 애니메이션 드라이버로 사용할 때의 주요 제약 사항은 무엇인가? 특히 코일 위치 배치와 데이터 노이즈에 대한 민감도가 문제되는가?
• RQ5 오픈소스 및 일반 소프트웨어를 사용하여 맞춤형 생체역학 모델링 없이도 실시간 기능을 갖춘 발성 애니메이션 시스템을 만들 수 있는가?

주요 결과

• EMA 기반 애니메이션은 측정된 EMA 코일 궤적과 애니메이션된 혀 메쉬의 해당 정점 간 평균 상관관계가 0.95를 기록하였다.
• 희박한 메쉬 토폴로지 조건에도 불구하고, 애니메이션은 자연스러운 말 운동의 전반적인 운동역학적 특성을 유지하였다.
• 개별 환자에 맞는 MRI 및 치아 스캔 자료를 사용함으로써 다양한 환자 간 정규화 문제를 성공적으로 회피하였다.
• BVH 호환 데이터와 오픈소스 도구(예: Blender)의 사용은 가벼운, 재현 가능하며 통합 가능한 애니메이션 파이프라인을 가능케 하였다.
• 실시간 시각화 및 오디오시각 합성 시스템에의 통합 가능성을 입증하였지만, MRI(배회위치)와 EMA(직립자세) 간 자세의 차이로 인해 혀의 형태 정확도에 영향을 줄 수 있다.
• 여전히 여러 도전 과제가 존재하며, MRI 데이터의 수동 세분화, 오류 발생 가능성이 높은 수동 공통 캘리브레이션, 충돌 감지 기능 부재, 초기 바인드 포즈 및 코일 위치에 대한 민감도 문제가 있다.