[論文レビュー] An Open-Source Gloss-Based Baseline for Spoken to Signed Language Translation

Amit Moryossef, Mathias Müller+4 more|arXiv (Cornell University)|May 28, 2023

Hand Gesture Recognition Systems被引用数 4

ひとこと要約

本論文は、ドイツ語、フランス語、イタリア語のテキストをスイスドイツ語、フランス語、イタリア語の手話に変換する、オープンソースで再現可能なパイプラインを提示する。テキスト→語彙化語→ポーズ→動画のフレームワークを採用している。語彙化語への変換には、語幹化処理、ルールベースの語順再配置・削除処理、ニューラル機械翻訳（NMT）システムを統合し、語彙集から抽出した骨格ポーズを用いて語彙化語→ポーズ変換を実現している。コミュニティ主導の改善を可能とするため、コードとデータを共有しており、今後の研究の基盤となるベースラインを確立している。

ABSTRACT

Sign language translation systems are complex and require many components. As a result, it is very hard to compare methods across publications. We present an open-source implementation of a text-to-gloss-to-pose-to-video pipeline approach, demonstrating conversion from German to Swiss German Sign Language, French to French Sign Language of Switzerland, and Italian to Italian Sign Language of Switzerland. We propose three different components for the text-to-gloss translation: a lemmatizer, a rule-based word reordering and dropping component, and a neural machine translation system. Gloss-to-pose conversion occurs using data from a lexicon for three different signed languages, with skeletal poses extracted from videos. To generate a sentence, the text-to-gloss system is first run, and the pose representations of the resulting signs are stitched together.

研究の動機と目的

• 分野における比較的評価やイノベーションを阻害する、標準化されておらず再現性のないベースラインの欠如に対処する。
• 新規研究者にとっての参入障壁を低減するため、オープンソースのツールとモジュラーなパイプラインアーキテクチャを提供する。
• 特にリソースが限られた環境においても、手話翻訳システムのアクセシビリティとスケーラビリティを向上させる。
• 共通のコミュニティメンテナンス型フレームワークを通じて、新しい手法の体系的評価とベンチマーク化を可能にする。
• 後処理や拡張の基盤を提供することで、より正確でなめらかな手話生成の開発を支援する。

提案手法

• 本システムは、3段階のパイプラインを採用する：テキスト→語彙化語翻訳、語彙化語→ポーズ変換、ポーズ→動画アニメーション。
• テキスト→語彙化語翻訳には、3つの異なるモジュールを実装する：語幹化処理、ルールベースの語順再配置・削除モジュール、MeineDGSコーパスを用いたニューラル機械翻訳（NMT）システム。
• 語彙化語→ポーズ変換には、抽出された骨格ポーズを有する手話動画の語彙集を活用し、クロッピング、連結、平滑化などの前処理ステップを適用する。
• 個々のサインポーズを語彙化語の順序に従ってつなぎ合わせることで、時間的・空間的整合性を保持したポーズシーケンスを生成する。
• ポーズ→動画生成ステップでは、最先端のポーズ→動画モデルを用いて、骨格ポーズのシーケンスから最終的な動画を合成する。
• 本システムはGitHub上でオープンソースとしてリリースされており、コミュニティの貢献、再現性、拡張性を可能としている。

実験結果

リサーチクエスチョン

• RQ1 比較的評価やコミュニティ開発を支援するため、再現可能でオープンソースのベースラインをどのように確立できるか？
• RQ2 語幹化、ルールベースの語順再配置／削除、ニューラル機械翻訳といった、異なるテキスト→語彙化語翻訳コンポーネントの相対的な長所と短所は何か？ これは正確な語彙化語シーケンスの生成にどう影響するか？
• RQ3 骨格ポーズデータを用いた語彙集ベースの語彙化語→ポーズ変換は、どの程度自然でなめらかな手話アニメーションを生成できるか？
• RQ4 未知の語彙化語、変形（例：複数形）および固有名詞を、スケーラブルで言語学的に妥当な方法で効果的に処理するにはどうすればよいか？
• RQ5 ポーズシーケンスにどのような改善を加えることで、後処理や拡散モデルを用いた最適化によって、なめらかさと自然さを向上させられるか？

主な発見

• 提案されたパイプラインは、ドイツ語、フランス語、イタリア語の入力テキストに対して、スイスの3つの手話（スイスドイツ語、フランス語、イタリア語）の動画を効果的に生成した。
• NMTベースのテキスト→語彙化語コンポonentは、意味の曖昧さを解消した語彙化語IDを生成し、ルールベースや語幹化アプローチに比べて意味的正確性が向上した。
• 語彙集から抽出した骨格ポーズを用いた語彙化語→ポーズ変換により、前処理ステップによってポーズ品質と継続性が向上した、信頼性の高いデータ駆動型アニメーションが可能になった。
• SignWriting や HamNoSys などのライティングシステムを用いたファジー一致により、未知語彙化語の処理が可能であり、Ham2Pose などのモデルを介して動画生成も可能である。
• GitHub 上でのオープンソースリリースにより、コミュニティ協働、再現性、拡張性が実現されており、今後は実際のポーズと合成されたポーズシーケンスを用いた拡散モデルで微調整を行う計画である。
• 本フレームワークは、将来的な研究の基盤を提供しており、語彙化語の意味の曖昧さ解消、活用形の変形処理（例：複数形）、品詞変換の処理が含まれる。