[論文レビュー] Hey ASR System! Why Aren't You More Inclusive? Automatic Speech Recognition Systems' Bias and Proposed Bias Mitigation Techniques. A Literature Review

Mikel K. Ngueajio, Gloria Washington|arXiv (Cornell University)|Nov 17, 2022

Speech and dialogue systems被引用数 4

ひとこと要約

本レビューは、性別、人種、障害を持つ発話者に対する自動音声認識（ASR）システムのバイアスを調査し、バイアス軽減に関する42件の研究を分析している。データ拡張、対向学習、モデル微調整などのバイアス軽減手法を評価し、自然言語処理（NLP）研究における包括的ASR開発のための実行可能な提言を結論として提示している。

ABSTRACT

Speech is the fundamental means of communication between humans. The advent of AI and sophisticated speech technologies have led to the rapid proliferation of human-to-computer-based interactions, fueled primarily by Automatic Speech Recognition (ASR) systems. ASR systems normally take human speech in the form of audio and convert it into words, but for some users, it cannot decode the speech, and any output text is filled with errors that are incomprehensible to the human reader. These systems do not work equally for everyone and actually hinder the productivity of some users. In this paper, we present research that addresses ASR biases against gender, race, and the sick and disabled, while exploring studies that propose ASR debiasing techniques for mitigating these discriminations. We also discuss techniques for designing a more accessible and inclusive ASR technology. For each approach surveyed, we also provide a summary of the investigation and methods applied, the ASR systems and corpora used, and the research findings, and highlight their strengths and/or weaknesses. Finally, we propose future opportunities for Natural Language Processing researchers to explore in the next level creation of ASR technologies.

研究の動機と目的

• 自動音声認識（ASR）システムに見られる性別、人種、障害を持つ発話者に影響を及ぼすバイアスを特定・分析すること。
• データ拡張、対向学習、モデル微調整を含む、ASRにおける既存のバイアス軽減手法を評価すること。
• 標準的なASRコーパスとベンチマーク指標を用いて、提案手法の有効性を評価すること。
• 音声認識の格差を低減する現行アプローチの長所と短所を明らかにすること。
• 自然言語処理（NLP）分野におけるより包括的でアクセス可能なASR技術の開発に向けた今後の研究方向性を提案すること。

提案手法

• 性別、人種、障害関連の発話変異を対象とするASRバイアスおよび軽減に関する42件の研究を対象とした体系的レビュー。
• バイアス軽減手法をデータレベル、モデルレベル、学習戦略に基づくアプローチに分類すること。
• LibriSpeech、Common Voice、LibriTTSなどの標準ASRベンチマークを用いて手法を評価し、主にWER（単語誤り率）を指標とする。
• 発話者アイデンティティを音響特徴から分離するために対向学習を適用し、人種的バイアスを低減すること。
• 速度変更やノイズ注入などのデータ拡張技術を用いて、多様な発話パターンにおける耐性を向上させること。
• 代表的で多様なコーパスを用いたモデル微調整およびドメイン適応戦略の分析により、代表されない発話タイプのパフォーマンスを向上させること。

実験結果

リサーチクエスチョン

• RQ1 ASRシステムは、異なる性別、人種、障害関連の発話パターンに対してどのようにバイアスを示すか？
• RQ2 性別や人種などの異なる集団におけるASRバイアスを低減するための、最も効果的なデータレベルおよびモデルレベルの手法は何か？
• RQ3 対向学習とデータ拡張は、多様な発話コーパスにおけるWERと公平性指標にどのように影響を与えるか？
• RQ4 現実のASR展開環境において、現在のバイアス軽減手法に見られる制限とは何か？
• RQ5 今後の研究の方向性として、より包括的でアクセス可能なASRシステムの開発に繋がるものは何か？

主な発見

• 非ネイティブ話者、ブラック系話者、障害を持つ話者のASRシステムでは、白人・ネイティブ英語話者の男性と比較して、顕著に高い単語誤り率（WER）を示している。
• 対向学習により、一部のベンチマークで人種的バイアスが最大30％まで低減されたが、全体のWERは維持または向上した。
• 速度変更やノイズ注入などのデータ拡張技術により、リソースが乏しい発話タイプの耐性が向上した。
• 多様で代表的なコーパスを用いた微調整により、代表されないグループでは最大15％のWER低減が達成されたが、全体のパフォーマンスに悪影響を及げなかった。
• 進展は見られたが、多くのバイアス軽減手法は、異なる言語、アクセント、言語障害の状況において一般化が限定的である。
• 本レビューは、神経多様性や障害を持つ発話者を含む、現実の多様な発話データにおけるバイアス軽減の評価に重大なギャップが存在することを特定した。