[논문 리뷰] ASL Video Corpora & Sign Bank: Resources Available through the American Sign Language Linguistic Research Project (ASLLRP)

Carol Neidle, Augustine Opoku외 1명|arXiv (Cornell University)|2022. 01. 19.

Hearing Impairment and Communication인용 수 4

한 줄 요약

이 논문은 미국 수어(ASL)를 위한 종합적이고 언어학적으로 주석 처리된 영상 자료인 ASLLRP의 ASL 영상 어휘자료 및 사전을 제시한다. 이 자료는 41,000건이 넘는 어휘적 수어, 300개의 제스처, 1,000개의 손가락 문자, 475개의 분류자 예시를 포함한다. 데이터는 검색 가능한 웹 인터페이스(DAI 2)와 SignStream(R) 소프트웨어를 통해 접근 가능하며, 복잡한 질의와 효율적인 주석 처리를 가능하게 하며, 수어 언어학 및 컴퓨터 비전 연구에 활용된다.

ABSTRACT

The American Sign Language Linguistic Research Project (ASLLRP) provides Internet access to high-quality ASL video data, generally including front and side views and a close-up of the face. The manual and non-manual components of the signing have been linguistically annotated using SignStream(R). The recently expanded video corpora can be browsed and searched through the Data Access Interface (DAI 2) we have designed; it is possible to carry out complex searches. The data from our corpora can also be downloaded; annotations are available in an XML export format. We have also developed the ASLLRP Sign Bank, which contains almost 6,000 sign entries for lexical signs, with distinct English-based glosses, with a total of 41,830 examples of lexical signs (in addition to about 300 gestures, over 1,000 fingerspelled signs, and 475 classifier examples). The Sign Bank is likewise accessible and searchable on the Internet; it can also be accessed from within SignStream(R) (software to facilitate linguistic annotation and analysis of visual language data) to make annotations more accurate and efficient. Here we describe the available resources. These data have been used for many types of research in linguistics and in computer-based sign language recognition from video; examples of such research are provided in the latter part of this article.

연구 동기 및 목표

• 학술적 및 계산 기반 연구를 위한 고품질의 언어학적으로 주석 처리된 ASL 영상 데이터를 구축하고 배포하기 위해.
• 미국 및 전 세계적으로 표준화되고 접근 가능하며 검색 가능한 수어 어휘자료의 부족을 해결하기 위해.
• 구조화된 데이터와 주석 처리 도구를 통해 수어 인식 분야의 언어학적 분석 및 머신러닝 응용을 지원하기 위해.
• 영상 어휘자료, 검색 가능한 사전, 주석 처리 소프트웨어(SignStream)를 통합한 시스템을 개발하여 연구 효율성을 향상시키기 위해.

제안 방법

• ASLLRP는 전면, 측면, 그리고 얼굴 근접 촬영 각도에서 고해상도 영상 촬영을 통해 ASL 수어자들의 영상을 수집하였다.
• 각 영상 자료는 수어의 수동적 및 비수동적 특징을 상세히 주석 처리할 수 있는 소프트웨어 도구인 SignStream(R)을 사용하여 주석 처리되었다.
• 영상 어휘자료는 데이터 접근 인터페이스(DAI 2)를 사용하여 구조화되고 색인화되어, 언어학적 및 시각적 매개변수를 기반으로 한 다중 조건 검색을 가능하게 하였다.
• ASLLRP 사전은 약 6,000개의 어휘적 수어를 포함하며, 각각 영어 기반의 번역어와 여러 예시 토큰을 갖춘다.
• 주석 처리 결과는 외부 연구 시스템과의 통합을 위해 프로그래밍 방식으로 접근 가능한 XML 형식으로 내보내졌다.
• 사전은 웹 인터페이스와 함께 SignStream(R) 내부에서도 직접 접근 가능하여 주석 처리 정확도와 워크플로우 효율성을 향상시켰다.

실험 결과

연구 질문

• RQ1 대규모로 언어학적으로 주석 처리된 ASL 영상 어휘자료는 어떻게 효과적으로 조직하고 연구에 접근 가능하게 할 수 있는가?
• RQ2 통합된 주석 처리 및 검색 도구가 수어 데이터 분석의 효율성과 정확성에 어떤 영향을 미치는가?
• RQ3 표준화된 수어 어휘자료는 수어 인식 및 계산 모델링 분야의 발전을 어느 정도 지원할 수 있는가?
• RQ4 어휘적 수어, 제스처, 손가락 문자, 분류자 등 다양한 수어 유형은 어떻게 통합된 자료에서 체계적으로 표현하고 검색할 수 있는가?

주요 결과

• ASLLRP는 ASL 연구에 활용 가능한 41,830건의 어휘적 수어 예시 어휘자료를 구축하였다. 이는 연구에 활용 가능한 데이터의 규모를 크게 확장시켰다.
• 사전에는 영어 기반의 번역어를 갖춘 약 6,000개의 고유한 어휘적 수어가 포함되어 있어, ASL의 포괄적인 어휘 참조 자료를 제공한다.
• 데이터 접근 인터페이스(DAI 2)는 영상 어휘자료를 대상으로 다층적이고 복잡한 검색을 가능하게 하여 고급 언어학적 질의를 지원한다.
• SignStream(R) 소프트웨어와의 사전 통합은 주석 처리 정밀도를 향상시키고 데이터 처리 워크플로우를 간소화한다.
• 이 자료들은 웹 인터페이스를 통해 공개 접근이 가능하며, XML 내보내기를 통해 프로그래밍 방식의 접근도 지원되어 계산 기반 연구에서 넓은 재사용이 가능하다.
• 이 데이터는 이미 수어 언어학 및 컴퓨터 비전 기반 수어 인식 시스템 등 다양한 연구 분야에 적용되고 있다.