[論文レビュー] AP17-OLR Challenge: Data, Plan, and Baseline

Zhiyuan Tang, Dong Wang+2 more|arXiv (Cornell University)|Jun 28, 2017

Natural Language Processing Techniques参考文献 13被引用数 4

ひとこと要約

本論文は、10ヶ国語（新たにウイグル語、カザフ語、チベット語を含む）を含む多言語音声データセットを提示するAP17-OLRチャレンジを紹介する。短い発話（1〜3秒）に焦点を当てている。2つのベースラインシステムを提案する：i-vectorモデルと深層ニューラルネットワーク（DNNs）で、TDNN、LSTM-RNN、および発音特徴を用いた新規のPTN-LIDモデルを含む。PTN-LIDモデルは、短い発話において最高の性能を示し、1秒発話でのC_avgが0.1516、EERが8.15%を記録した。これは、低リソース・短い系列の言語識別にDNNが有効であることを示している。

ABSTRACT

We present the data profile and the evaluation plan of the second oriental language recognition (OLR) challenge AP17-OLR. Compared to the event last year (AP16-OLR), the new challenge involves more languages and focuses more on short utterances. The data is offered by SpeechOcean and the NSFC M2ASR project. Two types of baselines are constructed to assist the participants, one is based on the i-vector model and the other is based on various neural networks. We report the baseline results evaluated with various metrics defined by the AP17-OLR evaluation plan and demonstrate that the combined database is a reasonable data resource for multilingual research. All the data is free for participants, and the Kaldi recipes for the baselines have been published online.

研究の動機と目的

• 実世界の多言語対話に一般的に見られる低リソース・短い発話シナリオにおける多言語音声認識の進展を図ること。
• 従来のi-vectorモデルが短い系列の言語識別において抱える限界を克服し、深層ニューラルネットワークに基づくアプローチを推進すること。
• 研究コミュニティが利用可能な多様なデータと再現可能なベースラインシステムを備えた標準化されたベンチマークを提供すること。
• ウイグル語、カザフ語、チベット語を含む、言語的に未代表化されている東洋語の言語識別分野におけるイノベーションを促進すること。
• コードスイッチング音声認識や多言語音声処理などの実用的応用を支援すること。

提案手法

• チャレンジは、NSFC M2ASRプロジェクトと清華大学のTHCHS30のデータセットを統合したもので、モバイルチャネル録音における男性・女性の話者がバランスした10言語を含む。
• 2つのベースラインシステムを実装：60次元のMFCC特徴を用いたi-vectorシステム（LDAとSVMスコアリング）、および生の40次元フィルタバンク特徴を用いたDNNベースのシステム。
• DNNベースラインには、6層の隠れ層とpノルム活性化関数を備えたTDNN、1024セルのLSTM-RNN、および事前学習済み発音モデルを用いた特徴抽出を行うPTN-LIDモデルが含まれる。
• PTN-LIDモデルは、THCHS30で学習されたTDNNベースの発音モデルを用いて発音特徴を生成し、その特徴をRNN-LIDモデルに供給して言語分類を実行する。
• すべてのシステムはKaldiを用いて訓練・評価され、1秒、3秒、および全長発話におけるC_avgとEERで性能を測定する。
• 開発セットはチューニングに使用され、訓練データには開発データを含めない（データ漏洩を防ぐため）。

実験結果

リサーチクエスチョン

• RQ1 多言語環境下での短い発話（1〜3秒）において、従来のi-vectorモデルはどの程度の性能を示すか？
• RQ2 TDNN、LSTM-RNN、PTN-LIDといった深層ニューラルネットワークアーキテクチャは、i-vectorシステムを上回る性能を発揮できるか？
• RQ3 多言語発音モデルを用いて発音特徴を統合することで、短い発話における言語識別精度はどの程度向上するか？
• RQ4 さまざまなDNNアーキテクチャは、発話長の変動に応じてC_avgとEERにおいてどのように比較されるか？
• RQ5 統合されたAP17-OLRデータセットは、多言語音声研究のための適切で代表的なベンチマークとして適しているか？

主な発見

• i-vectorシステムは1秒発話でC_avgが0.1930、EERが19.18%を記録し、長めのセグメントでは優れた性能を示すが、短い発話では性能が低下する。
• TDNN-LIDベースラインは1秒発話でC_avgが0.1920、EERが19.14%を記録し、頑健性は高いが、短い入力では限定的な向上が得られた。
• LSTM-LIDモデルは1秒発話でC_avgが0.1773、EERが18.90%を記録し、i-vectorおよびTDNNを上回る性能を示した。
• PTN-LIDモデルは1秒発話でC_avgが0.1516、EERが8.15%を記録し、発音に配慮した特徴学習の利点を示した。
• 3秒発話では、PTN-LIDモデルがC_avg 0.1571、EER 8.24%を達成し、他のベースラインを一貫して上回った。
• 統合されたAP17-OLRデータセットは、多言語音声研究、特に短い系列の言語識別に適した妥当で代表的なリソースであることが検証された。