[论文解读] ASL Video Corpora & Sign Bank: Resources Available through the American Sign Language Linguistic Research Project (ASLLRP)

Carol Neidle, Augustine Opoku+1 more|arXiv (Cornell University)|Jan 19, 2022

Hearing Impairment and Communication被引用 4

一句话总结

本论文介绍了 ASLLRP 的 ASL 视频语料库与手语词库——面向美国手语的综合性、语言学标注的视频资源，包含超过 41,000 个词素手势、300 个手势、1,000 个指拼单词和 475 个分类词示例。数据可通过可搜索的网络界面（DAI 2）和 SignStream(R) 软件访问，支持复杂查询与高效标注，适用于手语语言学与计算机视觉研究。

ABSTRACT

The American Sign Language Linguistic Research Project (ASLLRP) provides Internet access to high-quality ASL video data, generally including front and side views and a close-up of the face. The manual and non-manual components of the signing have been linguistically annotated using SignStream(R). The recently expanded video corpora can be browsed and searched through the Data Access Interface (DAI 2) we have designed; it is possible to carry out complex searches. The data from our corpora can also be downloaded; annotations are available in an XML export format. We have also developed the ASLLRP Sign Bank, which contains almost 6,000 sign entries for lexical signs, with distinct English-based glosses, with a total of 41,830 examples of lexical signs (in addition to about 300 gestures, over 1,000 fingerspelled signs, and 475 classifier examples). The Sign Bank is likewise accessible and searchable on the Internet; it can also be accessed from within SignStream(R) (software to facilitate linguistic annotation and analysis of visual language data) to make annotations more accurate and efficient. Here we describe the available resources. These data have been used for many types of research in linguistics and in computer-based sign language recognition from video; examples of such research are provided in the latter part of this article.

研究动机与目标

• 为学术与计算研究创建并传播高质量、语言学标注的 ASL 视频数据。
• 解决美国及全球范围内标准化、可访问且可搜索的手语语料库稀缺的问题。
• 通过结构化数据与标注工具，支持手语识别中的语言学分析与机器学习应用。
• 开发一个集成系统，结合视频语料库、可搜索的手语词库与标注软件（SignStream），以提升研究效率。

提出的方法

• ASLLRP 从多个角度（包括正面、侧面与面部特写）采集了高清视频记录，涵盖 ASL 手语者的表现。
• 每段视频均使用 SignStream(R) 软件进行标注，该工具可对语言学的手势与非手势特征进行详细标注。
• 通过 Data Access Interface (DAI 2) 对视频语料库进行结构化与索引化，支持跨语言学与视觉参数的复杂多条件搜索。
• ASLLRP 手语词库包含约 6,000 个词素手势，每个均配有基于英文的转写词与多个示例实例。
• 标注数据以 XML 格式导出，支持程序化访问，并可与外部研究系统集成。
• 手语词库既可通过网页界面访问，也可直接在 SignStream(R) 内使用，从而提升标注精度与工作流程效率。

实验结果

研究问题

• RQ1 如何有效组织并使大规模、语言学标注的 ASL 视频语料库可供研究使用？
• RQ2 集成的标注与搜索工具对手语数据标注效率与准确性的实际影响是什么？
• RQ3 标准化的手语语料库在推动手语识别与计算建模方面能发挥多大作用？
• RQ4 如何在统一资源中系统性地表示与检索多种手语类型——词素手势、手势、指拼词与分类词？

主要发现

• ASLLRP 已整理出 41,830 个词素手势的语料，显著扩展了 ASL 研究可利用的数据规模。
• 手语词库包含近 6,000 个独立的词素手势，配有基于英文的转写词，为 ASL 提供了全面的词汇参考。
• Data Access Interface (DAI 2) 支持在视频语料库中进行复杂、多维度的搜索，满足高级语言学查询需求。
• 手语词库与 SignStream(R) 软件的集成显著提升了标注精度，并优化了数据处理工作流程。
• 这些资源可通过网页界面公开访问，并支持通过 XML 导出实现程序化访问，便于在计算研究中广泛复用。
• 这些数据已应用于多个研究领域，包括手语语言学与基于计算机视觉的手语识别系统。