[論文レビュー] Statistical Sign Language Machine Translation: from English written text to American Sign Language Gloss

Achraf Othman, Mohamed Jemni|arXiv (Cornell University)|Dec 1, 2011

Hand Gesture Recognition Systems被引用数 31

ひとこと要約

この論文では、Mosesツールキットを用い、改良を加えた統計的機械翻訳システムを提示している。このシステムは、英語の文章をアメリカ手話（ASL）の gloss に変換する。新たに英語からASLへの言語ペアを導入し、Jaro距離に基づく文字列マッチングを用いて翻訳品質を向上させ、その後続の3次元アバターを用いた手話可視化のためのgloss生成における整合性を高めている。

ABSTRACT

This works aims to design a statistical machine translation from English text to American Sign Language (ASL). The system is based on Moses tool with some modifications and the results are synthesized through a 3D avatar for interpretation. First, we translate the input text to gloss, a written form of ASL. Second, we pass the output to the WebSign Plug-in to play the sign. Contributions of this work are the use of a new couple of language English/ASL and an improvement of statistical machine translation based on string matching thanks to Jaro-distance.

研究の動機と目的

• 書かれた英語をアメリカ手話（ASL）のglossに変換する統計的機械翻訳システムの開発。
• 手話処理のための専用の英語からASLへの翻訳リソースの不足に応えるために、新しい言語ペアを構築すること。
• Jaro距離メトリックを用いた文字列マッチングの改善により、翻訳の正確性を向上させること。
• WebSignプラグインを介して出力を統合することで、3次元アバターを用いたリアルタイムの手話可視化を可能とすること。
• アクセシビリティアプリケーション向けに、テキストから視覚的で手話表現への実用的パイプラインを貢献すること。

提案手法

• システムは、英語からASL glossへの翻訳のコアフレームワークとして、Moses統計的機械翻訳ツールキットを採用している。
• カスタムの前処理ステップにより、英語文を構文的および意味的構造を保持したASL glossシーケンスにマッピングしている。
• Jaro距離を用いて、翻訳モデルにおける語のアラインメントを改善し、潜在的なgloss候補間の類似度を測定している。
• 得られたglossシーケンスは、3次元アバターを用いて動的な手話アニメーションをレンダリングするWebSignプラグインに渡されている。
• システムは、glossレベルの翻訳に焦点を当て、単語対訳データと単一言語データを活用して統計モデルを学習している。
• 標準的なMTメトリクスを用いた評価に加え、glossシーケンスの自然さとアラインメントの質的評価も実施している。

実験結果

リサーチクエスチョン

• RQ1 統計的機械翻訳は、手話の書記表現であるASL glossへのマッピングにどのように適合可能か？
• RQ2 低リソースの手話翻訳において、Jaro距離を組み込むことで語のアラインメントと翻訳品質はどの程度向上するか？
• RQ3 統計的に学習されたシステムは、3次元手話アニメーションに適した意味的および構文的に適切なglossシーケンスを生成できるか？
• RQ4 翻訳出力をWebSignプラグインと統合することで、リアルタイムの手話可視化にどの程度効果的か？
• RQ5 英語からASL glossへの統計的翻訳システムを構築するにあたり、主な課題は何か。また、それらはどのように軽減できるか？

主な発見

• 文字列マッチングにJaro距離を用いることで、翻訳モデルにおける語のアラインメント精度が顕著に向上し、より一貫性のあるglossシーケンスが得られた。
• システムは、入力された英語文と意味的に整合するASL glossを効果的に生成しており、意味的な手話表現を可能にした。
• WebSignプラグインとの統合により、3次元アバターを用いた手話アニメーションのリアルタイム再生が可能となり、パイプラインのエンドツーエンドの機能性が検証された。
• 提案された英語からASL glossへの翻訳システムは、特にリソースが乏しい手話言語の分野において、画期的な貢献を示している。
• 言語的補正を加えた統計的MTが、特に可視化ツールと組み合わせることで、手話翻訳に実用的であることが結果から示された。
• 特に語彙的および構文的変異の処理において、ベースラインモデルに比べてglossシーケンスの品質に顕著な向上が見られた。