[論文レビュー] How Does Pre-trained Wav2Vec 2.0 Perform on Domain Shifted ASR? An Extensive Benchmark on Air Traffic Control Communications

Juan Zuluaga-Gómez, Amrutha Prasad+7 more|arXiv (Cornell University)|Mar 31, 2022

Speech Recognition and Synthesis被引用数 5

ひとこと要約

本研究では、標準的なASRデータセットとは顕著な音響的・言語的差異を示す航空交通管制（ATC）通話という、全く新しいドメインにおける事前学習済みWav2Vec 2.0およびXLS-Rモデルの耐性を評価する。5分間のドメイン内データでのファインチューニングでも、ハイブリッドベースラインと比較して相対的WERが20–40%低減し、8時間分のデータを用いた従来型システムを上回る性能を達成する一方で、女性の声を好む体系的なジェンダーバイアスも明らかになった。

ABSTRACT

Recent work on self-supervised pre-training focus on leveraging large-scale unlabeled speech data to build robust end-to-end (E2E) acoustic models (AM) that can be later fine-tuned on downstream tasks e.g., automatic speech recognition (ASR). Yet, few works investigated the impact on performance when the data properties substantially differ between the pre-training and fine-tuning phases, termed domain shift. We target this scenario by analyzing the robustness of Wav2Vec 2.0 and XLS-R models on downstream ASR for a completely unseen domain, air traffic control (ATC) communications. We benchmark these two models on several open-source and challenging ATC databases with signal-to-noise ratio between 5 and 20 dB. Relative word error rate (WER) reductions between 20% to 40% are obtained in comparison to hybrid-based ASR baselines by only fine-tuning E2E acoustic models with a smaller fraction of labeled data. We analyze WERs on the low-resource scenario and gender bias carried by one ATC dataset.

研究の動機と目的

• 事前学習済み自己教師付きWav2Vec 2.0およびXLS-Rモデルが、事前学習データとは顕著なドメインシフトを示す完全に未知のドメイン、すなわち航空交通管制（ATC）通話にどの程度耐性を示すかを評価すること。
• ハイブリッドベースのASRシステムと同等の性能を達成するために、ファインチューニングに必要な最小限のドメイン内ラベル付きデータ量を特定すること。
• ATC音声にファインチューニングした際のジェンダー差が、特に男性および女性発話者間でASR性能に与える影響を調査すること。
• 公開可能なATCコーパスを用いたオープンソースのベースラインと再現可能な実験を確立し、この未開拓な分野における研究を促進すること。

提案手法

• SNRが5–20 dBの変動する複数のオープンソースATC音声コーパスを用いて、Wav2Vec 2.0およびXLS-Rモデルのファインチューニングを実施した。
• 5分から15時間までのラベル付きデータを用いた低リソースファインチューニング実験を実施し、データ効率を評価した。
• デコーディング戦略の影響を評価するために、ドメイン内言語モデルを用いたグリーディデコードとビームサーチを併用した。
• 性能向上の度合いを明確化するため、エンドツーエンド（E2E）モデルとハイブリッドベースのASRベースラインを比較した。
• ATCO2-TestおよびATCOSIMコーパスにおけるジェンダー別性能を分析し、さまざまなファインチューニングデータ量におけるWERを評価した。
• 再現性を確保し、ATC ASR分野におけるオープンサイエンスを支援するため、GitHubに公開コードとベースラインをリリースした。

実験結果

リサーチクエスチョン

• RQ1 事前学習データとは顕著なドメインシフトを示すATC通話に、事前学習済みWav2Vec 2.0およびXLS-Rモデルはどの程度耐性を示すのか？
• RQ2 ハイブリッドベースのASRシステムと同等の性能を達成するために、E2Eモデルをファインチューニングするのに必要な最小限のドメイン内ATC音声データ量はどの程度か？
• RQ3 ATC音声におけるジェンダー差が、事前学習済みE2E ASRモデルの性能に与える影響は何か？また、認識精度に測定可能なジェンダーバイアスが存在するか？
• RQ4 ドメイン内言語モデルを統合することで、低リソースATC ASR状況におけるWERはどの程度改善されるか？
• RQ5 多言語XLS-Rモデルは、発音の多様性を有するATCデータに対して、発音に依存しない表現を持つため、単語語彙のWav2Vec 2.0を上回る性能を示すのか？

主な発見

• 5分間のドメイン内ATCデータでのWav2Vec 2.0ファインチューニングで、ISAVIAおよびNATSのテストセットでそれぞれ40%および43.9%のWERを達成し、高いデータ効率を示した。
• 8時間分のファインチューニングデータを用いることで、Wav2Vec 2.0はISAVIAおよびNATSで10%未満のWERを達成し、ハイブリッドベースのASRベースラインを上回った。
• ハイブリッドベースラインと比較して、ISAVIAおよびNATSで20–40%の相対的WER低減が、限られたドメイン内データでも観察された。
• UWB-ATCCデータで学習したモデルはLDC-ATCCで54%のWERを示したが、逆の設定では64%のWERを示し、強いドメイン特化効果が確認された。
• 女性発話の音声は常に男性発話の音声よりも高い性能を示し、1時間から3.5時間のファインチューニングデータスケーリングで女性では29.79%のWER低減が、男性では21.74%の低減が観察された。
• 結果から、Wav2Vec 2.0モデルには、事前学習データの非対称性に起因する微妙なジェンダーバイアスが存在する可能性が示唆され、未活用のジェンダーからのデータを追加することで緩和可能であると考えられる。