[論文レビュー] Progress in animation of an EMA-controlled tongue model for acoustic-visual speech synthesis

Ingmar Steiner, Slim Ouni|arXiv (Cornell University)|Jan 19, 2012

Phonetics and Phonology Research参考文献 16被引用数 3

ひとこと要約

本稿では、磁気誘導式発話計測（EMA）のモーショングラフデータとMRI由来の幾何学的形状を用いて、3次元キネマティック舌モデルの骨格アニメーション技術を提示する。この手法により、埋め込まれたBスプライン骨格ラッピングを介してEMAコイルの軌道を可変メッシュにマッピングすることで、生物学的力学的モデリングを必要とせず、現実的でデータ駆動の舌アニメーションを実現する。

ABSTRACT

We present a technique for the animation of a 3D kinematic tongue model, one component of the talking head of an acoustic-visual (AV) speech synthesizer. The skeletal animation approach is adapted to make use of a deformable rig controlled by tongue motion capture data obtained with electromagnetic articulography (EMA), while the tongue surface is extracted from volumetric magnetic resonance imaging (MRI) data. Initial results are shown and future work outlined.

研究の動機と目的

• 音声視覚的テキスト・トゥ・スピーク（AV-TTS）システムにおける視覚的自然さと理解可能性を向上させるために、現実的な3次元舌モデルを統合すること。
• 現在のAV-TTSシステムが舌や歯を無視していることによる口腔内発話データの欠落を是正すること。
• EMAモーショングラフデータとMRI由来の幾何学的形状を用いた、生物学的力学的モデリングを不要とするデータ駆動型の舌アニメーション手法の開発。
• 市販の3次元ソフトウェアを用いて、会話ヘッドGUIにおけるリアルタイムで同期された舌アニメーションの実現。
• 行動ベースのアニメーション制御を介して、TTSシステムへの直接統合の基盤を整えること。

提案手法

• 発話器の声道の高解像度3次元ボリュームMRIデータを用いて、解剖学的形状を提供する舌モデルを構築する。
• 頂点グループを各骨に割り当てることで変形制御が可能な、Bボーンから構成される骨格ラッピングを舌メッシュに埋め込む。
• Carstens AG500システム（200 Hz）を用いたEMAモーショングラフデータにより、舌上に最大12個のコイルの3次元位置と姿勢を追跡し、スパースだが豊富な運動学的データを取得する。
• 逆運動学（IK）を骨格ラッピングに適用することで、EMAコイルの軌道に基づいてメッシュをアニメートし、現実的な変形を実現する。
• 中立的なバインドポーズでEMAデータにモデルを登録し、コイル位置をメッシュ頂点に手動でアライメントする。
• Blenderにおけるキーフレームベースの非線形アニメーション（NLA）アクションを用いてアニメーションパイプラインをエクスポートし、軽量なゲームエンジンでのリアルタイムレンダリングに向けた移植性を確保する。

実験結果

リサーチクエスチョン

• RQ1 生物学的力学的制約なしに、EMAモーショングラフデータを効果的に3次元舌モデルのアニメーションに活用できるか？
• RQ2 スパースなEMAデータを高密度な3次元メッシュにマッピングすることで、信ぴょう性のある舌の変形を実現できるか？
• RQ3 柔軟なBボーンラッピングと骨格アニメーションを組み合わせることで、MRI幾何学と組み合わせた場合に現実的な舌の運動を再現できるか？
• RQ4 異なる話者間でEMAコイル位置とMRI由来の舌メッシュをアライメントする際の主な課題は何か？
• RQ5 EMAデータの誤差や外れ値をどのように低減すれば、安定的で自然な見た目のアニメーションを実現できるか？

主な発見

• EMAデータとMRI幾何学を用いた手法により、初期の結果として繰り返し[ta]発話における視覚的信ぴょう性が確認された、現実的で信ぴょう性のある舌アニメーションが成功裏に生成された。
• EMAコイルの姿勢データの使用により、位置データのスパarsityを補い、アニメーションの安定性が向上した。
• MRIメッシュをEMAコイル位置に手動で登録した結果、最適でない適合度が得られたことから、より優れた自動登録手法の開発が求められる。
• BボーンとIKを用いた骨格アニメーションアプローチにより、物理シミュレーションを必要とせず、舌メッシュの現実的な変形が実現可能であった。
• COLLADAなどの標準フォーマットを介してアニメーションパイプラインをエクスポート可能であり、効率的なGUIレンダリングのためのリアルタイムゲームエンジンへの統合が可能である。
• 今後の課題として、自動登録、EMAデータのクリーニング、行動ベースの制御を用いたTTSシステムへの直接統合を進める予定である。