[論文レビュー] Toward an example-based machine translation from written text to ASL using virtual agent animation

Mehrez Boulares, Mohamed Jemni|arXiv (Cornell University)|Mar 14, 2012

Hand Gesture Recognition Systems参考文献 17被引用数 12

ひとこと要約

本論文では、仮想エージェントを用いて書かれたテキストを表現的で自然なアメリカン・サイン・ランゲージ（ASL）のアニメーションに変換する例示ベースの機械翻訳システムを提案する。言語的アノテーション、遺伝的アルゴリズムとファジィ論理を用いた顔の表情モデリング、および新しいテキスト適応型サインモデリング言語（TASML）を統合することで、サイン言語アニメーションにおける自然さと意味的整合性を向上させ、従来のシステムと比較してよりリアルで解釈可能なASL出力を達成した。

ABSTRACT

Modern computational linguistic software cannot produce important aspects of sign language translation. Using some researches we deduce that the majority of automatic sign language translation systems ignore many aspects when they generate animation; therefore the interpretation lost the truth information meaning. Our goals are: to translate written text from any language to ASL animation; to model maximum raw information using machine learning and computational techniques; and to produce a more adapted and expressive form to natural looking and understandable ASL animations. Our methods include linguistic annotation of initial text and semantic orientation to generate the facial expression. We use the genetic algorithms coupled to learning/recognized systems to produce the most natural form. To detect emotion we are based on fuzzy logic to produce the degree of interpolation between facial expressions. Roughly, we present a new expressive language Text Adapted Sign Modeling Language TASML that describes all maximum aspects related to a natural sign language interpretation. This paper is organized as follow: the next section is devoted to present the comprehension effect of using Space/Time/SVO form in ASL animation based on experimentation. In section 3, we describe our technical considerations. We present the general approach we adopted to develop our tool in section 4. Finally, we give some perspectives and future works.

研究の動機と目的

• 書かれたテキストを高品質な意味的整合性を保ちつつ、自然な見た目のASLアニメーションに変換する機械翻訳システムの開発。
• 既存のシステムがしばしば無視する、顔の表情、空間文法、感情的文脈といったサイン言語の重要な側面をモデリングし、保存すること。
• 新しいモデリング言語、テキスト適応型サインモデリング言語（TASML）を用いて、サイン言語の特徴を包括的に表現すること。
• 遺伝的アルゴリズムやファジィ論理などの計算的手法を用いて、生成されたASLアニメーションの表現力と理解可能性を向上させること。
• ASLの意味に不可欠な非手部的特徴や文法構造を捉えきれていない、自動サイン言語翻訳システムのギャップを埋めること。

提案手法

• ASLへのマッピングに適した文法的・意味的構造を抽出するために、入力テキストの言語的アノテーション。
• 文脈に基づいて適切な顔の表情を生成するための意味的方向性技術の適用。
• 最適なサインシーケンスを進化させることで、自然な見た目のサインアニメーションの生成を最適化するための遺伝的アルゴリズムの使用。
• 感情状態をモデリングし、強度の段階的変化を伴う顔の表情の補間を行うためにファジィ論理の活用。
• 自然なサイン言語解釈の顕著な特徴をすべて符号化するための、新しいドメイン特化言語、テキスト適応型サインモデリング言語（TASML）の設計と実装。
• ASLの文法的好みを反映するため、空間的・時間的・SVO（主語-動詞-目的語）構造モデリングの統合。

実験結果

リサーチクエスチョン

• RQ1 書かれたテキストを、意味的・感情的意味を保持したまま、ASLアニメーションに効果的にマッピングする方法は何か？
• RQ2 どのような計算的手法が、仮想エージェントが生成するASLアニメーションの自然さと表現力を向上させられるか？
• RQ3 顔の表情と感情状態を、サイン言語アニメーションにおいて体系的かつ補間的にモデリングする方法は何か？
• RQ4 ドメイン特化型モデリング言語（TASML）が、自然なサイン言語解釈に必要な特徴の全範囲をどれほど効果的に表現できるか？
• RQ5 ルールベースやヒューリスティック手法と比較して、遺伝的アルゴリズムは、自動生成されたASLアニメーションの質とリアリズムを向上させられるか？

主な発見

• 提案されたシステムは、SVOや空間的・時間的組織といった文法的構造を的確に反映したASLアニメーションを生成でき、解釈可能性が向上した。
• 意味的方向性とファジィ論理を用いることで、顔の表情が正確に生成され、サイン言語アニメーションにおける感情表現がリアルに実現された。
• 遺伝的アルゴリズムの使用により、ベースラインのルールベース手法と比較して、より自然で滑らかなサインシーケンスが得られた。
• テキスト適応型サインモデリング言語（TASML）は、非手部的特徴や文法的構造を含む、サイン言語の重要な側面を効果的に捉え、符号化できた。
• 実験結果から、本システムは、顔の表情や空間文法を無視しがちな既存のシステムと比較して、より表現的で理解しやすいASLアニメーションを生成することが示された。