[論文レビュー] A prototype Malayalam to Sign Language Automatic Translator

Jestin Joy, Kannan Balakrishnan|arXiv (Cornell University)|Dec 23, 2014

Hand Gesture Recognition Systems参考文献 8被引用数 4

ひとこと要約

本論文では、中間表記を回避するルールベースのアプローチを用いて、マラヤーラム語のテキストを自動的に手話に変換するプロトタイプシステムを提示する。このシステムは、リグged人体モデルを介して3次元アニメーション化された手話出力を生成し、ケララ州における聴覚障害者向けのコミュニケーションおよび手話教育のための標準的でアクセス可能なツールを提供する。モバイルデプロイやウェブ統合の可能性も有する。

ABSTRACT

Sign language, which is a medium of communication for deaf people, uses manual communication and body language to convey meaning, as opposed to using sound. This paper presents a prototype Malayalam text to sign language translation system. The proposed system takes Malayalam text as input and generates corresponding Sign Language. Output animation is rendered using a computer generated model. This system will help to disseminate information to the deaf people in public utility places like railways, banks, hospitals etc. This will also act as an educational tool in learning Sign Language.

研究の動機と目的

• ケララ州において、地域的差異が顕著な手話の標準化の欠如を是正すること。
• マラヤーラム語テキストを手話に自動変換するシステムを構築し、希少な人力通訳者への依存を低減すること。
• 技術を活用して、ケララ州における手話学習のための標準的教育ツールを創出すること。
• 病院や銀行などの公共機関において、手話による情報提供を自動翻訳により可能にすること。
• 中間の手話表記システム（例：HamNoSys）を経由せずに、テキストから3次元アニメーションへの直接変換の可能性を検討すること。

提案手法

• システムは、品詞タガーを用いてマラヤーラム語テキストを処理し、品詞を特定する。
• 最適化モジュールが、手話において不要とされる助詞や文法的要素を削除する。
• ステミングモジュールが、意味的一致性を保つために語を語幹に還元する。
• ステミングの出力を、ルールベースのシステムを用いて直接3次元アニメートド人体モデルにマッピングする。
• アニメーションは、Debian GNU/Linux上でフリー・ソフトウェアを用いてキーフレームのシーケンスとして生成され、滑らかなブレンドで自然な動きを実現する。
• システムは、HamNoSysのような中間の手話表記を経由せず、テキストから直接アニメーションに変換する。

実験結果

リサーチクエスチョン

• RQ1 中間表記を用いずに、ルールベースのシステムがマラヤーラム語テキストを手話に効果的に変換できるか。
• RQ2 語彙的および文法的処理をどのように最適化すれば、マラヤーラム語テキストからの手話生成の正確性を向上させられるか。
• RQ3 3次元アニメートドモデルが、最小限の顔の表情でマラヤーラム語から手話への変換をどの程度正確に再現できるか。
• RQ4 このようなシステムが、非均一な手話習慣が存在する地域における標準的教育ツールとして機能できるか。
• RQ5 公共の利用環境への展開において、技術的およびユーザビリティ上の課題は何か。

主な発見

• システムは、HamNoSysのような中間の手話表記に依存せずに、マラヤーラム語テキストを3次元アニメートド手話出力に変換することに成功した。
• アニメーションは、Debian GNU/Linux上でフリー・ソフトウェアを用いてキーフレームのシーケンスとして生成され、オープンソースかつ拡張可能な実装を保証している。
• 最適化モジュールにより、不要な語が除外され、手話の特徴に合致する（助詞の省略）。
• ステミングにより語が語幹に還元され、アニメーション段階での手話ジェスチャーへの一貫したマッピングが可能になった。
• プロトタイプは、モバイルデプロイおよびウェブコンテンツとの統合の可能性を示しており、公共のアクセス性に貢献する。
• 地域的差異が顕著なケララ州における手話の標準化のための基盤となるツールを提供している。