[論文レビュー] Systemic Biases in Sign Language AI Research: A Deaf-Led Call to Reevaluate Research Agendas

Aashaka Desai, Maartje De Meulder+3 more|arXiv (Cornell University)|Mar 5, 2024

Hearing Impairment and Communication被引用数 8

ひとこと要約

この論文は101件の手話AI研究の系統的レビューを実施し、体系的な偏見を特定し、聴覚/手話非話者研究者によって研究課題が形成されているという指摘と聴覚障害者（Deaf）リーダーシップによる研究指針の再編を主張する。

ABSTRACT

Growing research in sign language recognition, generation, and translation AI has been accompanied by calls for ethical development of such technologies. While these works are crucial to helping individual researchers do better, there is a notable lack of discussion of systemic biases or analysis of rhetoric that shape the research questions and methods in the field, especially as it remains dominated by hearing non-signing researchers. Therefore, we conduct a systematic review of 101 recent papers in sign language AI. Our analysis identifies significant biases in the current state of sign language AI research, including an overfocus on addressing perceived communication barriers, a lack of use of representative datasets, use of annotations lacking linguistic foundations, and development of methods that build on flawed models. We take the position that the field lacks meaningful input from Deaf stakeholders, and is instead driven by what decisions are the most convenient or perceived as important to hearing researchers. We end with a call to action: the field must make space for Deaf researchers to lead the conversation in sign language AI.

研究の動機と目的

• 手話AIにおける研究質問と方法が聴覚・非署名者の研究者によってどのように形作られているかを批判的に検討する動機づけ。
• Deafの利害関係者のニーズとずれを生み出すデータセット・注釈・モデリング決定における体系的偏りを特定する。
• 現在の手話AI研究におけるDeafの参加とリーダーシップの程度を評価する。
• Deafリーダーシップを高め、包摂的な研究慣行を促進する具体的な変革を提案する。

提案手法

• 2021–2023年の手話AI論文101件のハイブリッド文献調査（arXivと査読済み論文）を実施し、偏りを特定する。
• 受容手話モデルを選択するためのコーパス構築と含める基準（人間要因や生成に焦点を当てた研究を除外）。
• データセット・入力・ラベル・事前情報・動機表明を追跡するコードブックの作成、二人の注釈者によるコーディングと第三者の決定での合意補正。
• 著者の立場（全員がDHH）と実体験の分析を通じて偏りを文脈化する。
• データセット・注釈・モデリング決定全体の所見を批判的に総合し、Deafの利害関係者の利益への適合を評価する。

実験結果

リサーチクエスチョン

• RQ1 現在の手話AI研究分野にはどんな体系的な偏りが存在するか？
• RQ2 データセット・注釈スキーム・モデリングの選択は、Deafの利害関係者のニーズや手話の現実とどのように一致または不一致か？
• RQ3 手話研究の議題と方法論の形成に、Deafリーダーシップがどの程度関与しているか？
• RQ4 分野をDeaf主導の倫理的に基づく手話AI研究へ動かす具体的な行動は何か？

主な発見

• 64件の論文は Deaf の個人のコミュニケーション障壁の解決を目的として枠組みられており、しばしば Deaf の経験を過度に簡略化し、手話を独立した言語としての翻訳よりも優先している。
• 43の異なるデータセットが使用されており、寄与者情報の非開示や通訳者のみのデータセットへの依存に関する懸念があり、 Deafの手話コミュニティを誤って表現する可能性がある。
• 注釈はグロスに大きく依存しており、部分的で文化的/言語的に偏っている可能性があり、字幕に基づくエンドツーエンド翻訳は追加の偏りを生む。
• 多くのモデリング決定は手話以外の事前学習（例：ImageNet、Kinetics）やポーズベースの入力に依存しており、手話や言語間の定量的な偏り分析が少ない。
• この分野には意図的な Deafリーダーシップと利害関係者の関与が欠如しており、 Deafコミュニティを周縁化するリスクのある体系的偏りに寄与している。