[論文レビュー] Sign Language Recognition, Generation, and Translation: An Interdisciplinary Perspective

Danielle Bragg, Oscar Koller+10 more|arXiv (Cornell University)|Aug 22, 2019

Hand Gesture Recognition Systems参考文献 95被引用数 86

ひとこと要約

この論文は、聴覚障害研究、言語学、NLP、CV、HCIを横断する手話認識、生成、翻訳の現状、主要な課題、行動計画を浮き彫りにする学際的ワークショップを報告します。

ABSTRACT

Developing successful sign language recognition, generation, and translation systems requires expertise in a wide range of fields, including computer vision, computer graphics, natural language processing, human-computer interaction, linguistics, and Deaf culture. Despite the need for deep interdisciplinary knowledge, existing research occurs in separate disciplinary silos, and tackles separate portions of the sign language processing pipeline. This leads to three key questions: 1) What does an interdisciplinary view of the current landscape reveal? 2) What are the biggest challenges facing the field? and 3) What are the calls to action for people working in the field? To help answer these questions, we brought together a diverse group of experts for a two-day workshop. This paper presents the results of that interdisciplinary workshop, providing key background that is often overlooked by computer scientists, a review of the state-of-the-art, a set of pressing challenges, and a call to action for the research community.

研究の動機と目的

• 手話処理の現状に関する学際的な概要を提供する。
• データセット、認識、モデリング、アバター、UI/UX全体に共通する主要な課題を特定する。
• 学際的な協力と今後の研究に向けた実行可能な行動呼びかけを明確に示す。

提案手法

• 複数分野の academiaと industry からなる39名の参加者を対象に、2日間のワークショップを組織した。
• 聴覚障害者文化、言語学、NLP、CV、グラフィックス、データセット編成の背景知識を統合した。
• データセット、認識、NLPモデリング、アバター、UI/UXを軸にブレイクアウトセッションを構成し、最先端、課題、解決策を特定した。

実験結果

リサーチクエスチョン

• RQ1 Q1: 学際的な視点から見た手話処理の現在の状況はどうか？
• RQ2 Q2: 学際的な視点から見てこの分野が直面する最大の課題は何か？
• RQ3 Q3: 学際分野を超えて共鳴する分野横断のアクション呼びかけは何か？

主な発見

• データセットは依然として中心的だが小規模であり、手話話者の多様性、実際の署名、およびネイティブ手話話者は過小評価されている。
• 認識とコンピュータビジョンは連続署名、描写、注釈、署名者や文脈を跨る一般化に課題を抱えている。
• モデリングとNLPは手話に特有の大規模で信頼できる注釈と語学表現の不足により阻害されている。
• アバターとグラフィックスのパイプラインは完全には自動化されておらず、アンキャニーバレー、遷移のリアリズム、および署名の調節に対処しなければならない。
• UI/UXの作業は、テキストと手話を組み合わせたインターフェースと教育・アクセシビリティ向けの実用的なツールの必要性を示している。