[論文レビュー] Avatar-independent scripting for real-time gesture animation

Richard Kennaway|arXiv (Cornell University)|Feb 10, 2015

Human Motion and Animation参考文献 29被引用数 9

ひとこと要約

本稿では、HamNoSys表記に基づき、リアルタイムの手話ジェスチャー動画を生成するための、アバターに依存しない新規スクリプト言語であるSiGMLを提案する。この言語により、高レベルのポーズおよび動きの記述から、自然でアバターに依存しないモーションドットを自動生成可能であり、計算コストを最小限に抑えつつ、モーショングリップに比べて顕著にデータサイズを削減し、リアルタイムでの動作を達成する。

ABSTRACT

When animation of a humanoid figure is to be generated at run-time, instead of by replaying pre-composed motion clips, some method is required of specifying the avatar's movements in a form from which the required motion data can be automatically generated. This form must be of a more abstract nature than raw motion data: ideally, it should be independent of the particular avatar's proportions, and both writable by hand and suitable for automatic generation from higher-level descriptions of the required actions. We describe here the development and implementation of such a scripting language for the particular area of sign languages of the deaf, called SiGML (Signing Gesture Markup Language), based on the existing HamNoSys notation for sign languages. We conclude by suggesting how this work may be extended to more general animation for interactive virtual reality applications.

研究の動機と目的

• 事前に記録されたモーショングリップの制限を克服し、リアルタイムでアバターに依存しない手話のジェスチャー アニメーションを生成するスクリプト言語の開発を目的とする。
• 聴覚障害者にとって読みやすく自然なアニメーションを実現し、アバターの寸法や関節構成に依存しないようにすることを目的とする。
• モーショングリップではなく、高レベルのスクリプトとしてジェスチャーを表現することにより、ストレージおよび送信コストを削減することを目的とする。
• 逆運動学および幾何的制約を用いて、抽象的なジェスチャー記述から自動的にリアルタイムでモーションドットを生成することを目的とする。
• 手話の分野を超えて、インタラクティブなバーチャルリアリティおよび身体的会話エージェントの分野への応用を拡張することを目的とする。

提案手法

• 本手法は、HamNoSysに基づく改訂版ジェスチャー表記を用い、絶対的な手の向きではなく、意図に基づく幾何的特徴（例：指差し方向）に焦点を当てる。
• 身体部位の位置および向きに関する相対的制約を用いてポーズを定義することで、異なるサイズのアバター間で一貫したアニメーションを実現する。
• システムはSiGMLスクリプトを逆運動学を用いてモーションドットに変換し、フレーム単位で骨の回転および顔面モーフィングをリアルタイムに計算する。
• 標準ハードウェア上では、1フレームあたり1/15ミリ秒未満でモーションドットが生成され、リアルタイム性能が確保される。
• アバターは、抽象的なジェスチャーを特定のスケルタル構成にマッピングするために、追加の表面点データ（例：名前付きのランドマーク）を必要とする。
• ジェスチャーの意味とアバターの幾何形状を分離することで、同じスクリプトが多様なアバターを自然で意味が一貫した動きで制御可能となる。

実験結果

リサーチクエスチョン

• RQ1 アバターの寸法に依存しないが、ジェスチャーの意味を保持するジェスチャー スクリプト言語を設計することは可能か？
• RQ2 高レベルのジェスチャー記述を、任意のヒューマノイドアバター用にリアルタイムで現実的で自然なモーションドットに自動的に変換する方法は何か？
• RQ3 ジェスチャーの意味的有意性に不可欠な幾何的特徴は何か？ そして、その特徴を表記体系にどのように捉え込むことができるか？
• RQ4 モーショングリップではなく、コンパクトなスクリプトを用いることで、ジェスチャー アニメーションのストレージおよび送信コストを顕著に削減できるか？
• RQ5 逆運動学および相対的制約を用いることで、異なるアバター間で自然で読みやすい動きをどれほど確実に実現できるか？

主な発見

• SiGMLシステムは、計算コストを最小限に抑え、1フレームあたり1/15ミリ秒未塔でフレーム生成が可能なリアルタイムでアバターに依存しないジェスチャー アニメーションを成功裏に生成した。
• SiGMLスクリプトから生成されたモーションドットは、同等のモーショングリップに比べて顕著にコンパクトであり、ストレージおよび帯域幅の要件を削減した。
• 聴覚障害者による評価では、アニメーションが読みやすく自然であると認められ、実用的なインタラクティブ アプリケーションへの応用が妥当であることが裏付けられた。
• 絶対的な幾何的パrameterではなく、意図（例：指差し方向）に焦点を当てることで、異なる寸法のアバター間でも一貫したジェスチャー解釈が可能となった。
• 意図に基づくジェスチャー表記と逆運動学を組み合わせることで、事前計算されたモーショングリップがなくても、自然でダイナミックなアニメーションが実現可能であることが示された。
• 本手法は、手話の分野を超えて、リアルタイムでインタラクティブなバーチャルリアリティおよび身体的会話エージェントの分野への応用に拡張可能である。