[논문 리뷰] Sign Language Recognition, Generation, and Translation: An Interdisciplinary Perspective

Danielle Bragg, Oscar Koller외 10명|arXiv (Cornell University)|2019. 08. 22.

Hand Gesture Recognition Systems참고 문헌 95인용 수 86

한 줄 요약

이 논문은 청각장애 연구, linguistics, NLP, CV, HCI 전 영역에 걸친 수어 인식, 생성, 번역의 현황, 주요 도전 과제 및 실행 항목을 밝히는 학제간 워크숍을 보고합니다.

ABSTRACT

Developing successful sign language recognition, generation, and translation systems requires expertise in a wide range of fields, including computer vision, computer graphics, natural language processing, human-computer interaction, linguistics, and Deaf culture. Despite the need for deep interdisciplinary knowledge, existing research occurs in separate disciplinary silos, and tackles separate portions of the sign language processing pipeline. This leads to three key questions: 1) What does an interdisciplinary view of the current landscape reveal? 2) What are the biggest challenges facing the field? and 3) What are the calls to action for people working in the field? To help answer these questions, we brought together a diverse group of experts for a two-day workshop. This paper presents the results of that interdisciplinary workshop, providing key background that is often overlooked by computer scientists, a review of the state-of-the-art, a set of pressing challenges, and a call to action for the research community.

연구 동기 및 목표

• 수어 처리의 현재 상태에 대한 학제 간 개요를 제공한다.
• 데이터셋, 인식, 모델링, 아바타 및 UI/UX 전반의 주요 도전 과제를 식별한다.
• 학제 간 협력과 향후 연구를 위한 실행 가능한 촉구를 명확히 제시한다.

제안 방법

• 다양한 학문 분야의 학계 및 산업계에서 39명의 참가자를 대상으로 이틀간 워크숍을 조직했다.
• 청각장애인 문화, 언어학, NLP, CV, 그래픽, 데이터셋 선별에 대한 배경 지식을 종합했다.
• 데이터셋, 인식, NLP 모델링, 아바타 및 UI/UX를 주제로 한 브레이크아웃 세션을 구성해 최신 동향, 도전 과제 및 해결책을 식별했다.

실험 결과

연구 질문

• RQ1 Q1: 학제 간 관점에서 수어 처리의 현재 현황은 무엇인가?
• RQ2 Q2: 학제 간 관점에서 이 분야가 직면한 가장 큰 도전 과제는 무엇인가?
• RQ3 Q3: 학문 간에 공감대를 형성하는 이 분야를 위한 실행 촉구는 무엇인가?

주요 결과

• 데이터셋은 여전히 중심적이면서도 규모가 작고, 서명자 다양성, 실생활 서명, 원어 수어 사용자가 충분히 대표되지 않는다.
• 인식 및 컴퓨터 비전은 연속 서명, 묘사, 주석, 서명자 및 맥락 간 일반화에 도전 과제가 있다.
• 수어에 특화된 대규모의 신뢰할 수 있는 주석 및 언어 표현의 부재로 모델링과 NLP이 제약을 받고 있다.
• 아바타 및 그래픽 파이프라인은 완전 자동화되지 않았으며 언캐니 밸리, 전이의 리얼리즘, 수어의 표정/동작 조절에 직면한다.
• UI/UX 연구는 텍스트와 수어의 혼합 인터페이스 및 교육과 접근성을 위한 실용 도구의 필요성을 보여준다.