[논문 리뷰] Including Signed Languages in Natural Language Processing

Kayo Yin, Amit Moryossef외 3명|arXiv (Cornell University)|2021. 05. 11.

Hand Gesture Recognition Systems참고 문헌 89인용 수 5

한 줄 요약

이 논문은 자연어처리(NLP) 분야에 수어를 통합하기 위해 언어학적 통찰, 전용 도구 개발, 청각 장애 공동체와의 협력 우선시를 주장한다. 표준화된 토크나이제이션, 언어학적으로 정보를 얻은 모델, 대규모 실생활 데이터 수집, 청각 장애 공동체의 적극적 참여를 통해 공정하고 효과적인 수어 기반 기술을 구축할 것을 촉구한다.

ABSTRACT

Signed languages are the primary means of communication for many deaf and hard of hearing individuals. Since signed languages exhibit all the fundamental linguistic properties of natural language, we believe that tools and theories of Natural Language Processing (NLP) are crucial towards its modeling. However, existing research in Sign Language Processing (SLP) seldom attempt to explore and leverage the linguistic organization of signed languages. This position paper calls on the NLP community to include signed languages as a research area with high social and scientific impact. We first discuss the linguistic properties of signed languages to consider during their modeling. Then, we review the limitations of current SLP models and identify the open challenges to extend NLP to signed languages. Finally, we urge (1) the adoption of an efficient tokenization method; (2) the development of linguistically-informed models; (3) the collection of real-world signed language data; (4) the inclusion of local signed language communities as an active and leading voice in the direction of research.

연구 동기 및 목표

• 수어가 완전한 자연어임에도 불구하고 주류 NLP에서 배제되고 있는 문제를 다루기 위해.
• 현재 수어 처리(SLP) 모델이 수어의 언어학적 구조를 제대로 활용하지 못하는 한계를 밝히기 위해.
• 수어의 시각적-제스처적, 동시적, 공간적 특성을 반영한 NLP 도구 개발을 촉진하기 위해.
• 모든 개발 단계에서 청각 장애 공동체의 필요와 리더십을 중심에 두어 연구가 그들에게 실질적인 혜택을 줄 수 있도록 하기 위해.
• 스케일링 가능한 공동체 주도 데이터 수집과 자동화를 통해 데이터 부족과 애너테이션 병목 현상을 극복하기 위해.

제안 방법

• 모델링 과정에서 정보 손실을 최소화하기 위해 수어에 적합한 표준화된 토크나이제이션 방법을 제안하기 위해.
• 수어의 문법적, 형태적, 공간적 특성을 반영한 언어학적으로 정보를 얻은 NLP 모델을 개발하기 위해.
• 말 기반 해석을 피하기 위해 원어 수어 사용자로부터 대규모 실생활 수어 데이터를 수집하기 위해.
• 프레임 경계 탐지, 예술적 특징 추출, 공동체 기반 라벨링을 지원하는 도구를 활용해 애너테이션 프로세스를 자동화하기 위해.
• 포괄적인 연구 관행과 공동체 주도의 이니셔티브를 통해 청각 장애 공동체와 장기적이고 공정한 협력을 구축하기 위해.
• 연구 설계, 평가, 발표 과정에 청각 장애 공동체의 피드백을 통합하여 관련성과 윤리적 일관성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 어떻게 NLP 모델이 수어의 시각적-제스처적, 동시적, 공간적으로 구성된 특성을 다룰 수 있는가?
• RQ2 어떤 표준화된 토크나이제이션 접근 방식이 수어 표현에서 언어학적 정보를 손실 없이 유지할 수 있는가?
• RQ3 실제성과 다양성을 유지하면서도 대규모로 고품질 수어 데이터셋을 효율적으로 수집하고 애너테이션할 수 있는 방법은 무엇인가?
• RQ4 청각 장애 공동체는 수어 기반 기술의 방향, 설계, 평가 과정에서 어떤 역할을 해야 하는가?
• RQ5 어떻게 NLP와 컴퓨터 비전 도구를 함께 활용해 수어를 언어학적으로 정확하게 모델링할 수 있는가?

주요 결과

• 현재 SLP 모델들은 수어의 언어학적 구조를 충분히 활용하지 못하고 있으며, 언어학적 기반 없이 시각적 처리에 의존하는 경향이 있다.
• 수어 데이터 수집은 매우 자원 소모적인 작업으로, 영상 1분당 최대 600분의 애너테이션 소요가 가능하다.
• 기존 수어 데이터셋은 크기, 품질, 대표성 측면에서 제한적이며, 특히 원어 수어 사용자 및 비해석 기반 콘텐츠에 대해서는 더욱 그렇다.
• 프레임 탐지, 특징 추출, 공동체 기반 라벨링을 지원하는 자동 애너테이션 도구는 데이터 파이프라인 개발을 크게 가속화할 수 있다.
• 특수 장갑이나 센서가 필요한 기술들은 청각 장애 공동체에 의해 자주 기각되며, 이는 청각 중심주의(audism)와 실용성 부족으로 인식되기 때문이다.
• 도구가 실제 요구를 충족하고 수어에 대한 오해를 강화하지 않도록 하기 위해 청각 장애 공동체와의 협력이 필수적이다.