[論文レビュー] Doing More with Less: Data Augmentation for Sudanese Dialect Automatic Speech Recognition

Ayman Mansour|arXiv (Cornell University)|Jan 11, 2026

Speech Recognition and Synthesis被引用数 0

ひとこと要約

この論文は、Whisperモデルを用いた Sudanese 方言 ASR におけるゼロショット、ファインチューニング、自己学習、TTS 増強を評価し、自己学習＋TTS のハイブリッドアプローチを提案して一般化性能を最も高める（ホールドアウトでのWER 51.6%）

ABSTRACT

Although many Automatic Speech Recognition (ASR) systems have been developed for Modern Standard Arabic (MSA) and Dialectal Arabic (DA), few studies have focused on dialect-specific implementations, particularly for low-resource Arabic dialects such as Sudanese. This paper presents a comprehensive study of data augmentation techniques for fine-tuning OpenAI Whisper models and establishes the first benchmark for the Sudanese dialect. Two augmentation strategies are investigated: (1) self-training with pseudo-labels generated from unlabeled speech, and (2) TTS-based augmentation using synthetic speech from the Klaam TTS system. The best-performing model, Whisper-Medium fine-tuned with combined self-training and TTS augmentation (28.4 hours), achieves a Word Error Rate (WER) of 57.1% on the evaluation set and 51.6% on an out-of-domain holdout set substantially outperforming zero-shot multilingual Whisper (78.8% WER) and MSA-specialized Arabic models (73.8-123% WER). All experiments used low-cost resources (Kaggle free tier and Lightning.ai trial), demonstrating that strategic data augmentation can overcome resource limitations for low-resource dialects and provide a practical roadmap for developing ASR systems for low-resource Arabic dialects and other marginalized language varieties. The models, evaluation benchmarks, and reproducible training pipelines are publicly released to facilitate future research on low-resource Arabic ASR.

研究の動機と目的

• 低リソース条件下で Sudanese 方言に対する Whisper ベースの ASR モデルの有効性を評価する。
• Sudanese 方言 ASR の性能向上のためのデータ拡張戦略（自己学習と TTS）を評価する。
• Sudanese 方言 ASR のベンチマークを確立し、再現性のあるトレーニングパイプラインを提供する。
• ゼロショット、完全ファインチューニング、拡張アプローチを比較してデータ効率と一般化を理解する。

提案手法

• Sudanese 方言データとアラビア語データを併用して Whisper Small/Medium/Large V2 をファインチューニングする。
• OOOK-Eval およびドメイン外のホールドアウトセットでゼロショットの Whisper 変種を評価する。
• ラベルなし Sudanese データ上で疑似ラベルを生成して自己学習を実装し再学習する。
• Lisan-Sudanese TTS データを用いた TTS 増強を組み込む。
• 自己学習と TTS 増強、金標データを組み合わせて最終的なファインチューニングを行う。

Figure 2: Language Detection Failures

実験結果

リサーチクエスチョン

• RQ1 Whisper モデルは Sudanese 方言 ASR においてゼロショットとファインチューニングの設定でどの程度性能を発揮するのか？
• RQ2 自己学習と TTS 増強は独立して Sudanese 方言 ASR の性能を改善するのか、あるいは併用が有益なのか？
• RQ3 どのモデルサイズとデータ構成が、域外の Sudanese 発話への一般化を最も良くするのか？
• RQ4 半教師あり学習のための疑似ラベル選択における信頼度閾値のトレードオフは何か？
• RQ5 低リソース方言 ASR システムの展開における制限と実務上の考慮点は何か？

主な発見

Method	Train Data	Hrs	WER/CER	WER/CER H-O
Zero-shot OpenAI W-Small	Multilingual	680k	109/73	118/87.8
Zero-shot OpenAI W-Medium	Multilingual	680k	84.3/50.3	96.8/65.5
Zero-shot OpenAI W-Large-V2	Multilingual	680k	78.8/47.7	88.5/62.6
ARBML W-Small-Ar	MGB2	1.2k	83.5/43	149/109
ARBML W-Small-CV-Ar	CV 11	~100	123/164	191/229
ARBML W-Medium-Ar	MGB2	1.2k	73.8/36.5	140/99.6
ARBML W-Large-v2-Ar	MGB2	1.2k	75.5/37.9	146/109
SDN W-Small	MSA+SDN	7.25	67.7/27.7	63.4/32.6
SDN W-Medium	MSA+SDN	7.25	64.1/26.7	57.5/30.9
SDN W-Large-v2	MSA+SDN	7.25	62.8/27.1	59.7/34.8
SDN-Teacher W-Small	SDN-clean	3.93	67.3/26.3	61.8/32.2
SDN W-Small	SDN-clean+Pseudo(con=0.7)	15.2	64.6/25.5	60.9/31.3
SDN W-Small	SDN-clean+Pseudo(con=0.9)	8.73	71/30.5	63.5/33.1
SDN W-Medium	SDN-clean+Pseudo(con=0.7)	23.76	57.1/20.6	54.1/28.2
SDN W-Medium	SDN-clean+Pseudo(con=0.9)	17.35	57.2/20.9	52.1/26.6
SDN W-Medium	Pseudo(con=0.7)	19.83	61/23.7	53.3/27.2
SDN W-Medium	Pseudo(con=0.9)	13.42	58.2/20.9	56.5/29.6
SDN W-Small	SDN-clean+Pseudo(con=0.7)+TTS	19.81	65.5/26.2	64.4/33.6
SDN W-Small	SDN-clean+Pseudo(con=0.9)+TTS	13.34	70.3/28.1	64.5/35
SDN W-Small	Pseudo(con=0.7)+TTS	15.88	70.5/28.7	65.1/33
SDN W-Small	Pseudo(con=0.9)+TTS	9.41	65.6/25.9	63.9/32.3
SDN W-Medium	SDN-clean+Pseudo(con=0.7)+TTS	28.37	57.9/21.3	51.6 / 26.5
SDN W-Medium	SDN-clean+Pseudo(con=0.9)+TTS	21.96	63.3/25.5	53.2/28

• Zero-shot Whisper Large-V2 は OpenAI モデルの中で最良のゼロショット WER を達成（OOOK-Eval で 78.8% WER、47.7% CER）。
• SDN Whisper Large-V2 の完全ファインチューニングは OOOK-Eval で 62.8% WER、27.1% CER を示し、Medium はホールドアウト一般化が強い（57.5% WER、30.9% CER）。
• Medium 教師モデルと疑似ラベル（con=0.7）+ 金標データによる自己学習は OOOK-Eval で 57.1% WER を達成（最良の単一モデル結果）。
• 自己学習と TTS 増強＋金標データを組み合わせると総じて最良の一般化を示し、SDN-W-Medium のホールドアウトで 51.6% WER、26.5% CER（総計 28.37 時間）を達成。
• ゼロショットベースラインに対する相対的最良改善は約 45%（WER が 96.8% から 51.6%）程度。
• 自己学習の効果は高容量モデルでより顕著であり、ラベル付きデータが少ない場合にデータ効率が強調される。

Figure 3: Error Type Distribution