[論文レビュー] ASL Video Corpora & Sign Bank: Resources Available through the American Sign Language Linguistic Research Project (ASLLRP)

Carol Neidle, Augustine Opoku+1 more|arXiv (Cornell University)|Jan 19, 2022

Hearing Impairment and Communication被引用数 4

ひとこと要約

本論文は、アメリカン・サイン・ランゲージ（ASL）の包括的で言語学的に注釈された動画リソース、ASLLRPのASLビデオコーパスおよびサインバンクを提示している。41,000件を超える語彙的サイン、300のジェスチャー、1,000の指文字、475の分類子例を含む。データは検索可能なWebインターフェース（DAI 2）およびSignStream(R)ソフトウェアを通じて利用可能で、複雑な照会と効率的な注釈が可能であり、サイン言語言語学およびコンピュータビジョン研究に応用可能である。

ABSTRACT

The American Sign Language Linguistic Research Project (ASLLRP) provides Internet access to high-quality ASL video data, generally including front and side views and a close-up of the face. The manual and non-manual components of the signing have been linguistically annotated using SignStream(R). The recently expanded video corpora can be browsed and searched through the Data Access Interface (DAI 2) we have designed; it is possible to carry out complex searches. The data from our corpora can also be downloaded; annotations are available in an XML export format. We have also developed the ASLLRP Sign Bank, which contains almost 6,000 sign entries for lexical signs, with distinct English-based glosses, with a total of 41,830 examples of lexical signs (in addition to about 300 gestures, over 1,000 fingerspelled signs, and 475 classifier examples). The Sign Bank is likewise accessible and searchable on the Internet; it can also be accessed from within SignStream(R) (software to facilitate linguistic annotation and analysis of visual language data) to make annotations more accurate and efficient. Here we describe the available resources. These data have been used for many types of research in linguistics and in computer-based sign language recognition from video; examples of such research are provided in the latter part of this article.

研究の動機と目的

• 学術的および計算科学研究のための高品質で言語学的に注釈されたASL動画データの作成と配布。
• 米国および世界規模で標準化され、アクセス可能で検索可能なサイン言語コーパスの不足に対処すること。
• 構造化されたデータと注釈ツールを通じて、サイン言語認識における言語学的分析と機械学習応用を支援すること。
• 動画コーパス、検索可能なサインバンク、および注釈ソフトウェア（SignStream）を統合したシステムの開発により、研究の効率性を向上させること。

提案手法

• ASLLRPは、正面、側面、顔面のクローズアップなど、複数の角度からASLのサイン者による高精細な動画記録を収集した。
• 各動画は、手部および非手部の特徴を詳細に注釈できるソフトウェアツール「SignStream(R)」を用いて注釈された。
• 動画コーパスは、データアクセスインターフェース（DAI 2）を用いて構造化およびインデックス化され、言語的および視覚的パrameterにわたる複雑な複数条件照会が可能となった。
• ASLLRPサインバンクは、約6,000語彙的サインを含み、それぞれが英語ベースの語訳と複数の例示トークンを有する。
• 注釈はXML形式でエクスポートされ、プログラムによるアクセスおよび外部研究システムとの統合が可能となった。
• サインバンクはWebインターフェースおよびSignStream(R)内から直接アクセス可能であり、注釈の正確性とワークフローの効率性が向上した。

実験結果

リサーチクエスチョン

• RQ1 大規模で言語学的に注釈されたASL動画コーパスは、どのように効果的に整理され、研究利用可能となるか？
• RQ2 統合された注釈および検索ツールは、サイン言語データ分析の効率性と正確性にどのような影響を与えるか？
• RQ3 標準化されたサイン言語コーパスは、サイン言語認識および計算モデルの進展をどの程度支援できるか？
• RQ4 語彙的サイン、ジェスチャー、指文字、分類子といった多様なサインタイプは、どのように統一されたリソース内で体系的に表現され、検索可能となるか？

主な発見

• ASLLRPは、ASL研究に向けた利用可能なデータを顕著に拡大する、41,830件の語彙的サインのコーパスを構築した。
• サインバンクには、英語ベースの語訳を有する約6,000の異なる語彙的サインが含まれており、ASLの包括的な語彙的リファレンスを提供している。
• データアクセスインターフェース（DAI 2）は、動画コーパスにわたる複雑で多面的な照会を可能にし、高度な言語学的照会を支援している。
• サインバンクとSignStream(R)ソフトウェアの統合により、注釈の正確性が向上し、データ処理ワークフローが簡素化された。
• リソースはWebインターフェースを通じて一般公開されており、XMLエクスポートによりプログラムによるアクセスが可能となっており、計算科学研究における広範な再利用が可能である。
• これらのデータは、すでにサイン言語言語学およびコンピュータビジョンに基づくサイン認識システムなど、多様な研究分野に応用されている。