[論文レビュー] Including Signed Languages in Natural Language Processing

Kayo Yin, Amit Moryossef+3 more|arXiv (Cornell University)|May 11, 2021

Hand Gesture Recognition Systems参考文献 89被引用数 5

ひとこと要約

本論文は、言語的知見を活用し、専用ツールを開発し、聴覚障害者コミュニティと協働することによって、自然言語処理（NLP）にサイン言語を統合するよう提唱する。標準化されたトークン化、言語学的に裏付けられたモデル、大規模な実世界データ収集、聴覚障害者コミュニティの能動的参加を求める。これにより、公平で効果的なサイン言語技術を実現する。

ABSTRACT

Signed languages are the primary means of communication for many deaf and hard of hearing individuals. Since signed languages exhibit all the fundamental linguistic properties of natural language, we believe that tools and theories of Natural Language Processing (NLP) are crucial towards its modeling. However, existing research in Sign Language Processing (SLP) seldom attempt to explore and leverage the linguistic organization of signed languages. This position paper calls on the NLP community to include signed languages as a research area with high social and scientific impact. We first discuss the linguistic properties of signed languages to consider during their modeling. Then, we review the limitations of current SLP models and identify the open challenges to extend NLP to signed languages. Finally, we urge (1) the adoption of an efficient tokenization method; (2) the development of linguistically-informed models; (3) the collection of real-world signed language data; (4) the inclusion of local signed language communities as an active and leading voice in the direction of research.

研究の動機と目的

• サイン言語が完全な自然言語としての地位を有するにもかかわらず、主流のNLPから排除されていることへの対処。
• 現在のサイン言語処理（SLP）モデルが、言語的構造を十分に活用できないことの制限要因の特定。
• 視覚的・ジェスチャー的で、同時に発現する、空間的な性質を有するサイン言語に特化したNLPツールの開発を促進。
• すべての開発段階において、聴覚障害者のニーズとリーダーシップを最優先することで、研究が聴覚障害コミュニティに実際の利益をもたらすようにすること。
• スケーラブルでコミュニティ主導のデータ収集と自動化により、データ不足とアノテーションのボトルネックを克服すること。

提案手法

• モデリング中の情報損失を最小限に抑えるために、サイン言語用の標準化されたトークン化手法を提案。
• サイン言語の文法的・語彙的・空間的性質を考慮した、言語学的に裏付けられたNLPモデルの開発。
• 話者の解釈に基づくものではなく、ネイティブなサイン者から得た大規模で実世界のサイン言語データの収集。
• フレーム境界の検出、発話的特徴の抽出、クラウドソーシングによるラベリングを支援するツールを活用して、アノテーションプロセスを自動化。
• 包括的な研究実践とコミュニティ主導のイニシアチブを通じて、聴覚障害コミュニティと長期的かつ公正な協働関係を構築。
• 研究設計、評価、出版プロセスにおいて、聴覚障害コミュニティのフィードバックを統合し、関連性と倫理的整合性を確保。

実験結果

リサーチクエスチョン

• RQ1 NLPモデルは、サイン言語の視覚的・ジェスチャー的で、同時に発現する、空間的に構造化された性質をどのように処理できるか。
• RQ2 情報損失を過度に抑えずに、サイン言語表現における言語的情報を保持する標準化されたトークン化アプローチは何か。
• RQ3 真正性と多様性を維持しつつ、大規模で高品質なサイン言語データセットを効率的に収集・アノテートする方法は何か。
• RQ4 聴覚障害コミュニティは、サイン言語技術の方向性、設計、評価において、どのようにしてその方向性を形作るべきか。
• RQ5 NLPとコンピュータビジョンのツールをどのように統合して、言語的正確性を保ったままサイン言語をモデリングできるか。

主な発見

• 現在のSLPモデルは、言語的構造を十分に活用できず、言語的根拠のない視覚処理に依存していることがしばしばである。
• サイン言語のデータ収集は極めてリソース集約的であり、1分間の動画に対して最大600分のアノテーション作業が必要となる。
• 既存のサイン言語データセットは、サイズ、品質、代表性の点で制限されており、とりわけネイティブなサイン者や解釈を伴わないコンテンツに対しては顕著である。
• フレーム検出、特徴抽出、クラウドソーシングを支援する自動アノテーションツールは、データパイプラインの開発を著しく加速できる。
• 特殊なグローブやセンサーを必要とする技術は、聴覚障害コミュニティから「聴覚主義（audism）」の兆候や実用性の欠如を理由に拒否されることが多い。
• 聴覚障害コミュニティとの協働は、実世界のニーズを満たし、サイン言語に関する誤解を助長しないようにするため不可欠である。