[論文レビュー] Quantifying Bias in Automatic Speech Recognition

Siyuan Feng, Olya Kudina+2 more|arXiv (Cornell University)|Mar 28, 2021

Speech Recognition and Synthesis参考文献 24被引用数 53

ひとこと要約

この論文は、性別、年齢、地域アクセント、非母語アクセントにわたるオランダ語の最新ASRシステムのバイアスを体系的に定量化し、WERと音素レベルの分析を用いてバイアスの発生箇所を特定し、緩和戦略を提案します。

ABSTRACT

Automatic speech recognition (ASR) systems promise to deliver objective interpretation of human speech. Practice and recent evidence suggests that the state-of-the-art (SotA) ASRs struggle with the large variation in speech due to e.g., gender, age, speech impairment, race, and accents. Many factors can cause the bias of an ASR system. Our overarching goal is to uncover bias in ASR systems to work towards proactive bias mitigation in ASR. This paper is a first step towards this goal and systematically quantifies the bias of a Dutch SotA ASR system against gender, age, regional accents and non-native accents. Word error rates are compared, and an in-depth phoneme-level error analysis is conducted to understand where bias is occurring. We primarily focus on bias due to articulation differences in the dataset. Based on our findings, we suggest bias mitigation strategies for ASR development.

研究の動機と目的

• ASRシステムのバイアスを発見する必要性を動機づけ、予防的な緩和へと移行する。
• 性別、年齢層、地域、非ネイティブアクセントにわたる標準的なオランダ語DNN-HMM ASRのバイアスを定量化する。
• WERを比較し、音素レベルのエラー分析を実施してバイアスの原因を特定する。
• 実証的な発見に基づくデータ主導のバイアス緩和提案を提供する。

提案手法

• KaldiでLF-MMIトレーニングを用いたハイブリッドDNN-HMMオランダ語ASR（TDNN-BLSTM）を使用する。
• オランダ語CGNコーパスで訓練し、性別、年齢、地域、非ネイティブアクセントを網羅するためにJasmin-CGN拡張で評価する。
• 読み上げスピーチとヒューマン-マシン相互作用（HMI）スピーチを別々にWERを比較する。
• オランダ語辞書を介して書き起こしを音素列に変換し、Levenshtein整列を用いて音素エラー率（PER）を計算する。
• グループ間で最も誤認識される音素を特定するための音素レベル分析を実施する。

実験結果

リサーチクエスチョン

• RQ1 オランダ語における性別、年齢層、地域アクセント、非ネイティブアクセントごとにASRの性能（WER）はどのように異なるか。
• RQ2 話し方のスタイル（読み上げ vs. HMI）はASR性能のバイアスの大きさに影響するか。
• RQ3 異なる話者グループで最も頻繁に誤認識される音素はどれか、そしてこれは発話関連のバイアスについて何を意味するか。
• RQ4 観察結果に基づいてオランダ語ASRのバイアスを低減するために推測できる緩和戦略は何か。

主な発見

• 女性の話し言葉は、グループやスタイルを問わず、男性の話し言葉よりも認識精度が高い。
• ネイティブDutchのスピーチは非ネイティブスピーチよりも正確に認識されており、非ネイティブのグループで最大の性能差が見られる。
• 子どもと特に高齢者（65歳以上）はWERが高く、特に高齢者は地域によって最も変動が大きく、最悪の性能を示す。
• 読み上げスピーチは一般にHMIスピーチよりWERが低く、ネイティブで平均約13.7ポイント、非ネイティブで約5.5ポイントのギャップを生む。
• 地域アクセントは重要であり、フランドル Dutch (FL) がネイティブグループの中で最も成績が悪く、地域SはHMIスピーチで最も強いバイアスを示すことが多い。オランダ語話者の高齢者は地域的効果が強い。
• 音素レベルの分析は、母音 /œy/, /Y/, /y/, /ø:/ および言語特有の音声実現がグループ間で頻繁に誤認識の源となることを示す。ネイティブ vs. 非ネイティブおよび地域差が異なる誤認識パターンを生み出す。