[論文レビュー] The MGB-2 Challenge: Arabic Multi-Dialect Broadcast Media Recognition

Ahmed Ali, Peter Bell+5 more|arXiv (Cornell University)|Sep 19, 2016

Speech Recognition and Synthesis参考文献 11被引用数 7

ひとこと要約

本論文は、2005–2015年の1,200時間にわたるアルジャジーラTVの録画データを用いた大規模なアラビア語マルチダイアクトスピークスプリーチ認識評価、MGB-2チャレンジを提示する。軽度の監視付きトランスクリプションと、ウェブアーカイブから得た110万語を超える語彙を併用している。チャレンジの焦点は、音声からテキストへのトランスクリプションと語のアラインメントであり、公式テストセットで最高のシステムで14.7%のWERを達成した。トップシステムは、ダイアクトルおよびノイズの強い音声に対して性能を向上させるために、深層ニューラルネットワークとハイブリッド言語モデルを活用した。

ABSTRACT

This paper describes the Arabic Multi-Genre Broadcast (MGB-2) Challenge for SLT-2016. Unlike last year's English MGB Challenge, which focused on recognition of diverse TV genres, this year, the challenge has an emphasis on handling the diversity in dialect in Arabic speech. Audio data comes from 19 distinct programmes from the Aljazeera Arabic TV channel between March 2005 and December 2015. Programmes are split into three groups: conversations, interviews, and reports. A total of 1,200 hours have been released with lightly supervised transcriptions for the acoustic modelling. For language modelling, we made available over 110M words crawled from Aljazeera Arabic website Aljazeera.net for a 10 year duration 2000-2011. Two lexicons have been provided, one phoneme based and one grapheme based. Finally, two tasks were proposed for this year's challenge: standard speech transcription, and word alignment. This paper describes the task data and evaluation process used in the MGB challenge, and summarises the results obtained.

研究の動機と目的

• アラビア語マルチダイアクト放送メディアにおける自動音声認識システムの評価を目的とし、ダイアクトルのばらつき、重複音声、標準でない発音といった課題に焦点を当てる。
• アルジャジーラTVから得た1,200時間の軽度監視付きトランスクリプション音声を用いた標準化されたベンチマークを提供し、システム間での再現可能な評価を可能にする。
• アルジャジーラ.netから得たデータ、語彙（字素および音素）および言語モデルを公開することで、ダイアクトルアラビア語ASR分野の研究を促進する。
• 放送メディアにおける語のアラインメント性能を評価し、将来的な比較のためのベースラインシステムを開発する。
• 多様なアラビア語発話ジャンルおよびダイアクトルに対応できる強力な音声モデルおよび言語モデルの開発を促進する。

提案手法

• 2005–2015年のアルジャジーラTV放送から1,200時間のデータを収集し、手動でトランスクリプションされたが、正確な文字起こしではなく、トランスクリプションの品質はばらつき、タイミングメタデータは存在しない。
• QCRIの字素ベースLVCSRシステムを用いて軽度のアラインメントを実施し、LSTM音声モデルと3-gram言語モデルを用い、語レベルのタイミングと信頼性スコアを生成した。
• スミス＝ウォーターマンの局所アラインメントを用いてASR出力と元のトランスクリプションを照合し、正確な一致と近似一致（ファジー編集距離）の両方を用いて、言い換えや不自然な発話に対処した。
• アラインメント品質を評価するためのAnchorRate指標を定義した：AnchorRate = （一致した語数）／（トランスクリプション語数）、正確一致率は48%、近似一致率は15%を達成した。
• アルジャジーラ.netから得た10年分のウェブクロール言語モデル（110万語）に加え、2種類の語彙（字素および音素）を提供した。
• 2つのタスクのベースラインシステムを構築した：トランスクリプション用にDNN/TDNN/LSTMベースのASRシステム、100msのタイミングウィンドウを用いたルールベースのアラインメントシステム（正確率0.83、再現率0.70）

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークベースの音声モデルは、重複音声や変動する発音を伴う放送メディアにおける多様なアラビア語ダイアクトルの認識にどの程度効果的か？
• RQ2 ハイブリッド言語モデル（n-gram + RNNLM）は、リソースが限られたマルチダイアクトルアラビア語音声認識において、どの程度性能を向上させられるか？
• RQ3 データ選別（例：語レベルのマッチング誤差率とMER、最適語長）は、大規模アラビア語ASRシステムの最終的なWERにどのような影響を与えるか？
• RQ4 タイミング情報なしの放送音声において、自動語アラインメントシステムの性能はどの程度か？また、手動アラインメントと比較するとどうなるか？
• RQ5 混乱ネットワークデコードによるシステム結合は、マルチダイアクトルアラビア語ASRにおいてWERを顕著に低減できるか？最適な結合戦略は何か？

主な発見

• 最高のシステムは、公式テストセット（重複音声を除く）で14.7%のWERを達成し、ベースラインの34%から57%の相対的低下を実現した。
• DNN、TDNN、LSTMを組み合わせたハイブリッド音声モデルに加え、RNNLMを用いたシステムが最も低いWERを達成した。MITのG-LSTMモデルとQCRIの混乱ネットワーク結合システムが結果をリードした。
• 低語レベルマッチング誤差率（MER）と最適語長（AWD）に基づくデータ選別により、トレーニングデータの品質が向上し、NDSCは高品質な680時間のデータをトレーニングに選別した。
• 混乱ネットワークデコードによるシステム結合により、WEDは最大1.2%絶対値低下し、NDSCは手動セグメンテーションで18.2%、自動セグメンテーションで19.4%のWERを達成した。
• ベースラインアラインメントシステムは正確率0.83、再現率0.70、F1スコア0.76を達成し、将来的なアラインメント研究の強固な基盤を提供した。
• 膨大な努力にもかかわらず、語アラインメントタスクへの提出は一件もなかった。これは、この分野における今後のイノベーションの余地が非常に大きいことを示している。