[論文レビュー] Machine Translation between Spoken Languages and Signed Languages Represented in SignWriting

Zifan Jiang, Amit Moryossef+2 more|Zurich Open Repository and Archive (University of Zurich)|Oct 11, 2022

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本論文は、中間表現としてSignWritingを用いることで、話言語と手話の間でエンドツーエンドの機械翻訳システムを初めて提示する。SignWritingシーケンスの解析、因子化、評価にニューラル要因機械翻訳技術を適用することで、二か国語設定（ASL→英語）で30以上、多言語設定で20以上のBLEUを達成した。これは、標準的なNLP技術が構造的で記号的な表現を用いることで、手話翻訳に効果的に寄与できることを示している。

ABSTRACT

This paper presents work on novel machine translation (MT) systems between spoken and signed languages, where signed languages are represented in SignWriting, a sign language writing system. Our work seeks to address the lack of out-of-the-box support for signed languages in current MT systems and is based on the SignBank dataset, which contains pairs of spoken language text and SignWriting content. We introduce novel methods to parse, factorize, decode, and evaluate SignWriting, leveraging ideas from neural factored MT. In a bilingual setup--translating from American Sign Language to (American) English--our method achieves over 30 BLEU, while in two multilingual setups--translating in both directions between spoken languages and signed languages--we achieve over 20 BLEU. We find that common MT techniques used to improve spoken language translation similarly affect the performance of sign language translation. These findings validate our use of an intermediate text representation for signed languages to include them in natural language processing research.

研究の動機と目的

• 話言語と手話の間の翻訳を支援するための、SignWritingを中間的記号表現として用いることで、現在の機械翻訳システムにおける手話への対応不足を是正すること。
• 手話表記システムを活用することで、話言語のテキストと手話コンテンツの間でエンドツーエンドの翻訳を可能にすること。
• SignWritingの独自な文法的構造（記号の解析と位置的因子化を含む）を、ニューラル要因機械翻訳技術に適応させること。
• SignWritingの図形的・空間的特徴に特化した評価戦略を用いて、手話翻訳システムの性能を標準的なNLP指標と併せて評価すること。
• 既存の低リソース翻訳技術が、手話翻訳に移植可能で効果的であることを検証し、NLP研究における手話の統合を促進すること。

提案手法

• 翻訳モデルの学習に、話言語のテキストとそれに該当するSignWritingシーケンスの並列ペアを提供するSignBankデータセットを用いる。
• SignWritingシーケンスを構成記号（グラフィム）、標点、空間的マーカーに分割するための新しい解析手法を導入する。
• 記号と位置番号といった独立した言語的要因にSignWritingを因子化することで、ニューラル要因機械翻訳を可能にする戦略を採用する。
• 記号予測には交差エントロピー損失、位置番号予測には平均絶対誤差（MAE）を用い、空間的関係の保持に重点を置いた学習を行う。
• 共有される多言語アーキテクチャを用いて、話言語からSignWriting、およびその逆方向への両方向翻訳をサポートする。
• 評価には、記号レベルの正確性にBLEUとchrF2/chrF2++、位置番号予測にはMAEを用い、図形的出力の手動検証も実施する。

実験結果

リサーチクエスチョン

• RQ1 ニューラル機械翻訳モデルは、手話の記号的表現であるSignWritingとの間で、効果的に翻訳を学習できるか？
• RQ2 標準的な低リソース機械翻訳技術は、SignWritingに適用された場合、手話翻訳の性能向上にどの程度寄与するか？
• RQ3 SignWritingの独自な言語的特徴（空間的配置や記号的構成）を、ニューラル翻訳フレームワーク内で効果的にモデル化できるか？
• RQ4 特に2次元的な図形的構造を持つSignWritingの翻訳出力の品質を評価するにあたり、最も適切な評価指標は何か？
• RQ5 限定的な並列データに依存する場合、特に非ASL/英語の言語ペアに対して辞書的ペアを用いる場合に、多言語翻訳設定を効果的に学習できるか？

主な発見

• アメリカン・シグナリング・ランゲージ（ASL）からアメリカ英語への二か国語翻訳設定において、提案手法は30以上のBLEUスコアを達成し、高リソースな手話翻訳タスクにおいて優れた性能を示した。
• 両方向の話言語と手話の間での翻訳を含む2つの多言語設定において、20以上のBLEUを達成した。これは、低リソース状況下でも言語ペア間での一般化が有効に行われていることを示している。
• データ拡張や多言語モデリングといった一般的な低リソース翻訳技術が、翻訳性能を顕著に向上させた。これは、これらの技術が手話翻訳に移植可能で効果的であることを確認した。
• 位置番号をモデル内の別因子として扱うことで、空間的表現の正確性が向上した。この成分の評価にはMAEが主な指標として用いられた。
• 本研究では、現在の評価手法の限界、特にシーケンスのアラインメントが不完全な場合にトークン単位のMAEが位置番号に適切でない可能性があることが明らかになった。
• 図形的形状、記号の構成、位置の正確性、因子化された構造を段階的に評価し、その後に人的評価を実施する、段階的評価フレームワークの導入を提唱する。これにより包括的な評価が可能となる。