[論文レビュー] DARTS: Dialectal Arabic Transcription System

Sameer Khurana, Ahmed Ali+1 more|arXiv (Cornell University)|Sep 26, 2019

Speech Recognition and Synthesis参考文献 24被引用数 5

ひとこと要約

本論文は、高リソースの現代標準アラビア語（MGB-2）からの転移学習と、500時間以上の未ラベル付きYouTube音声を用いた半教師あり学習を活用することで、低リソースのエジプトアラビア語方言向けに、ディープラーニングベースの音声認識システムDARTSを提示する。DARTSは、CNN、TDNN、LSTM層を組み合わせたハイブリッドDNNアーキテクチャ、逐次判別的学習、n-gram/RNN言語モデルの再スコアリングを用いて、MGB-3評価セットで最先端の語誤り率（WER）35.8％を達成した。

ABSTRACT

We present the speech to text transcription system, called DARTS, for low resource Egyptian Arabic dialect. We analyze the following; transfer learning from high resource broadcast domain to low-resource dialectal domain and semi-supervised learning where we use in-domain unlabeled audio data collected from YouTube. Key features of our system are: A deep neural network acoustic model that consists of a front end Convolutional Neural Network (CNN) followed by several layers of Time Delayed Neural Network (TDNN) and Long-Short Term Memory Recurrent Neural Network (LSTM); sequence discriminative training of the acoustic model; n-gram and recurrent neural network language model for decoding and N-best list rescoring. We show that a simple transfer learning method can achieve good results. The results are further improved by using unlabeled data from YouTube in a semi-supervised setup. Various systems are combined to give the final system that achieves the lowest word error on on the community standard Egyptian-Arabic speech dataset (MGB-3).

研究の動機と目的

• エジプトアラビア語方言に不足するトランスクリプトデータの課題に対処すること。
• 高リソースの放送用現代標準アラビア語（MSA）データ（MGB-2）から低リソースの方言アラビア語（MGB-3）への転移学習の有効性を調査すること。
• ドメインに適合した未ラベル付きYouTube音声（500時間以上）を用いた半教師あり学習の有効性を検証し、低リソース方言のASR性能を向上させること。
• MGB-3ベンチマークで既存手法を上回る、堅牢なエンドツーエンドの音声トランスクリプションシステムを開発すること。
• 転移学習を用いて、モロッコアラビア語などの他のアラビア語方言への一般化性能を評価すること。

提案手法

• 前処理用の畳み込みニューラルネットワーク（CNN）、複数の時間遅延ニューラルネットワーク（TDNN）層、および長短記憶（LSTM）再帰層を組み合わせた深層ニューラルネットワーク音声モデルを訓練する。
• トランスクリプト音声認識の最適化を目的とした逐次判別的学習を適用する。
• まず1,200時間のMGB-2 MSA放送データで事前学習を行い、その後16時間のラベル付きMGB-3エジプト方言データで微調整することで、転移学習を実施する。
• エジプト方言のチャンネルから得た500時間以上の未ラベル付きYouTube音声を、半教師あり学習の枠組みで活用し、モデルの一般化性能を向上させる。
• n-gramおよび再帰的ニューラルネットワーク言語モデル（RNNLM）を用いてデコードし、N-bestリストの再スコアリングによりトランスクリプションの正確性を向上させる。
• 有限状態トランスダクタ（FST）フレームワークを用いて言語モデルを構築し、文法と語彙を統合して最終的なデコードグラフを構築する。

実験結果

リサーチクエスチョン

• RQ1 高リソースのMSA（MGB-2）からの転移学習が、低リソースのエジプトアラビア語（MGB-3）データのASR性能を顕著に向上させ得るか？
• RQ2 ドメインに適合した未ラベル付きYouTube音声を用いた半教師あり学習が、方言アラビア語のASR性能にどの程度の向上効果をもたらすか？
• RQ3 CNN-TDNN-LSTMのような深層音声モデルと逐次判別的学習の統合は、単純なアーキテクチャに比べて、低リソース環境下でどのように優れているか？
• RQ4 n-gramおよびRNNLMによる言語モデル再スコアリングが、MGB-3評価セットの語誤り率（WER）にどのように効果をもたらすか？
• RQ5 提案されたDARTSシステムは、転移学習を用いて、モロッコアラビア語など他のアラビア語方言へ一般化可能か？

主な発見

• DARTSシステムは、MGB-3評価セットで最先端の語誤り率（WER）35.8％を達成し、前回の最高記録37.5％を上回った。
• CNN前処理ブロックの使用により性能が向上し、BLSTMを含まないDARTSモデルは、転移学習のみでMGB-3で39.8％のWERを達成した。
• 500時間以上の未ラベル付きYouTubeデータを用いた半教師あり学習により、DARTSモデルと組み合わせた場合、WERは39.8％から39.5％に低下した。
• 4つのモデル（DARTS、CNN-TDNN、DARTS-BLSTM、YouTubeデータを用いたCNN-TDNN）のシステム結合により、言語モデル再スコアリング前のWERは36.5％に低下した。
• 4-gramおよびRNNLMによる言語モデル再スコアリングにより、WERはさらに35.8％に低下し、ハイブリッド言語モデリングの有効性が示された。
• ベースラインTDNNモデルに比べ、モロッコアラビア語（MGB-5）で5パcentポイントの性能向上（65％対70％ WER）を達成しており、言語的に離れた方言に対しても転移学習が有効であることが示された。