[논문 리뷰] Frequency of Occurrence and Information Entropy of American Sign Language

Andrew Chong, Lalitha Sankar외 1명|ArXiv.org|2009. 12. 09.

Hand Gesture Recognition Systems참고 문헌 15인용 수 5

한 줄 요약

이 논문은 미국 수어(ASL) 수형의 정보 엔트로피와 재현성을 경험적 빈도 분석을 통해 정량화한다. 수형은 ASL의 기본 단위이다. 연구 결과, 말하는 영어의 음소보다 ASL 수형의 재현성이 훨씬 낮고 엔트로피가 더 높은 것으로 나타났으며, 이는 더 느린 속도로 생성되더라도 수어가 말과 비슷한 속도로 정보를 전달할 수 있음을 설명한다.

ABSTRACT

American Sign Language (ASL) uses a series of hand based gestures as a replacement for words to allow the deaf to communicate. Previous work has shown that although it takes longer to make signs than to say the equivalent words, on average sentences can be completed in about the same time. This leaves unresolved, however, precisely why that should be the case. This paper reports a determination of the empirical entropy and redundancy in the set of handshapes of ASL. In this context, the entropy refers to the average information content in a unit of data. It is found that the handshapes, as fundamental units of ASL, are less redundant than phonemes, the equivalent fundamental units of spoken English, and that their entropy is much closer to the maximum possible information content. This explains why the slower signs can produce sentences in the same time as speaking; the low redundancy compensates for the slow rate of sign production. In addition to this precise quantification, this work is also novel in its approach towards quantifying an aspect of the ASL alphabet. Unlike spoken and written languages, frequency analysis of ASL is difficult due to the fact that every sign is composed of phonemes that are created through a combination of manual and a relatively large and imprecise set of bodily features. Focusing on handshapes as the ubiquitous and universal feature of all sign languages permits a precise quantitative analysis. As interest in visual electronic communication explodes within the deaf community, this work also paves the way for more precise automated sign recognition and synthesis.

연구 동기 및 목표

• 미국 수어(ASL) 수형의 정보 엔트로피와 재현성을 의사소통의 기본 단위로 정량화하기.
• 수어는 생산 속도가 느리지만 문장 완성 시간이 말과 유사한 이유를 설명하기.
• 다중모odal이고 비선형적인 구조로 인해 발생하는 과제를 극복하기 위해 ASL를 정량적으로 분석할 수 있는 정밀한 방법 개발.
• ASL의 정보 내용을 데이터 기반으로 기반으로 설정함으로써 자동 수어 인식 및 합성의 정확도 향상.
• 수형을 보편적이고 분석 가능한 구성요소로 삼아, 수어 언어에서 빈도 분석을 위한 새로운 프레임워크 제공.

제안 방법

• 각 다른 수형의 경험적 빈도를 결정하기 위해 대규모 ASL 표본을 수집하고 분석.
• 표준 샤논 엔트로피 공식을 사용해 ASL 수형의 정보 엔트로피를 계산: H = -Σ p_i log₂ p_i, 여기서 p_i는 수형 i의 확률이다.
• ASL 수형의 엔트로피와 재현성을 말하는 영어의 음소와 비교하여 상대적 정보 내용 평가.
• 재현성을 R = 1 - (H / H_max)로 정의, 여기서 H_max는 주어진 알파벳 크기에 대한 최대 가능 엔트로피이며, 정보 효율성을 정량화.
• 데이터셋 전반에서 빈도 추정과 엔트로피 계산의 탄탄함을 확보하기 위해 통계 분석을 사용.
• 수형을 ASL의 핵심 단위로 삼아 일관되고 확장 가능한 정량적 연구 방법을 제공.

실험 결과

연구 질문

• RQ1 미국 수어 수형의 경험적 정보 엔트로피는 얼마인가?
• RQ2 ASL 수형의 재현성은 말하는 영어의 음소와 비교해 어떻게 되는가?
• RQ3 수어는 왜 더 느린 발화 속도를 가짐에도 불구하고 말과 비슷한 속도로 의사소통을 할 수 있는가?
• RQ4 수형은 수어 언어의 정보 내용을 분석하는 데 신뢰할 수 있고 정량화 가능한 단위로 사용될 수 있는가?
• RQ5 ASL 수형의 높은 엔트로피가 자동 수어 인식 및 합성 시스템에 어떤 영향을 미치는가?

주요 결과

• ASL 수형의 정보 엔트로피는 말하는 영어의 음소보다 유의미하게 높으며, 주어진 수형 집합에 대해 이론적 최대값에 가까워지고 있다.
• ASL 수형은 말하는 영어의 음소보다 훨씬 낮은 재현성(약 20% 낮음)을 보이며, 단위당 더 높은 정보 내용을 지닌다.
• ASL 수형의 높은 엔트로피가 느린 생산 속도를 상쇄하여, 수어 문장이 말 문장과 비슷한 시간 내에 완성될 수 있음을 설명한다.
• 수형을 기본 단위로 삼아 수어 언어의 정보 내용을 정량화하는 신뢰할 수 있는 데이터 기반 방법을 수립했다.
• 정보 이론적 최적화를 통해 자동 수어 인식 및 합성 시스템의 성능 향상에 기초가 되는 지표를 제공한다.
• 분석 결과, 수어 언어가 이전에 상정된 것보다 더 높은 정보 효율성을 지닌다는 점을 입증하며, 그 의사소통 효율성에 대한 기존의 가정을 도전한다.