[논문 리뷰] Systemic Biases in Sign Language AI Research: A Deaf-Led Call to Reevaluate Research Agendas

Aashaka Desai, Maartje De Meulder외 3명|arXiv (Cornell University)|2024. 03. 05.

Hearing Impairment and Communication인용 수 8

한 줄 요약

본 연구는 101건의 수화 AI 연구를 체계적으로 검토하여 체계적 편향을 식별하고 Deaf 리더십이 연구 의제를 재정립해야 한다고 주장한다.

ABSTRACT

Growing research in sign language recognition, generation, and translation AI has been accompanied by calls for ethical development of such technologies. While these works are crucial to helping individual researchers do better, there is a notable lack of discussion of systemic biases or analysis of rhetoric that shape the research questions and methods in the field, especially as it remains dominated by hearing non-signing researchers. Therefore, we conduct a systematic review of 101 recent papers in sign language AI. Our analysis identifies significant biases in the current state of sign language AI research, including an overfocus on addressing perceived communication barriers, a lack of use of representative datasets, use of annotations lacking linguistic foundations, and development of methods that build on flawed models. We take the position that the field lacks meaningful input from Deaf stakeholders, and is instead driven by what decisions are the most convenient or perceived as important to hearing researchers. We end with a call to action: the field must make space for Deaf researchers to lead the conversation in sign language AI.

연구 동기 및 목표

• 수화 AI의 연구 질문과 방법이 청인/비수화 연구자에 의해 형성되는지에 대한 비판적 고찰을 촉진한다.
• Deaf 이해관계자의 필요와 불일치하는 데이터셋, 주석 및 모델링 결정의 체계적 편향을 식별한다.
• 현재 수화 AI 연구에서 Deaf의 참여와 리더십의 정도를 평가한다.
• Deaf 리더십을 높이고 포용적 연구 관행을 촉진하기 위한 구체적인 변화를 제안한다.

제안 방법

• 2021–2023년의 수화 AI 논문 101편에 대한 하이브리드 문헌 검토(arXiv 및 동료 심사된 논문)를 수행하여 편향을 식별한다.
• 수용 수화 모델을 선택하기 위한 말뭉치 구성 및 포함 기준(인간 요인 및 생성 중심 연구 제외).
• 데이터세트, 입력, 레이블, 사전정보, 동기 진술을 추적하기 위한 코드북 개발, 이중 주석자 코딩 및 제3자 추돌 해결 포함.
• 저자 포지션(모든 저자가 DHH)과 살아온 경험을 분석하여 편향의 맥락을 해석한다.
• 데이터셋, 주석 및 모델링 결정에 걸친 발견의 비판적 종합을 통해 Deaf 이해관계자 이익과의 정합성을 평가한다.

실험 결과

연구 질문

• RQ1 현재 수화 AI 연구 환경에 어떤 체계적 편향이 존재하는가?
• RQ2 데이터셋, 주석 체계, 모델링 선택이 Deaf 이해관계자의 요구와 수화의 현실에 얼마나 부합하거나 불일치하는가?
• RQ3 수화 연구 의제와 방법론 형성에 Deaf 리더십이 어느 정도 관여하고 있는가?
• RQ4 현장을 Deaf 주도적이고 윤리적으로 기초한 수화 AI 연구로 이끌 구체적 조치는 무엇인가?

주요 결과

• 64편의 논문은 Deaf 개인의 의사소통 장벽 해결에 초점을 두고 있지만, Deaf의 경험을 종종 지나치게 단순화하고 수화를 그 자체의 언어로서 번역보다 우선시하는 경향이 있다.
• 43개의 고유한 데이터셋이 사용되며, 기여자 정보 비공개 및 통역사 전용 데이터셋 의존에 대한 우려가 제기되며, 이는 Deaf 수화 커뮤니티를 오도할 수 있다.
• 주석은 주로 글로스에 의존하며 부분적이고 문화적/언어적 편향이 있을 수 있으며, 자막에 기반한 엔드투엔드 번역 방식은 추가 편향을 초래한다.
• 다수의 모델링 결정이 비수화 언어 사전 학습(예: ImageNet, Kinetics) 또는 포즈 기반 입력에 의존하며, 음소/언어 간에 대한 정량적 편향 분석이 거의 없다.
• 이 분야는 의도적인 Deaf 리더십과 이해관계자 참여의 부족을 보여 주며, 이는 Deaf 커뮤니티를 소외시킬 위험이 있는 체계적 편향에 기여한다.