[論文レビュー] AISHELL-1: An Open-Source Mandarin Speech Corpus and A Speech Recognition Baseline

Hui Bu, Jiayu Du+3 more|arXiv (Cornell University)|Sep 16, 2017

Speech Recognition and Synthesis参考文献 6被引用数 50

ひとこと要約

AISHELL-1 は、Kaldi baseline と drop-in セットアップを備えた、最大級のオープンソース Mandarin ASR コーパス（400 speakers, 170+ hours）であり、録音、書き起こし、辞書パイプラインの詳細も含みます。

ABSTRACT

An open-source Mandarin speech corpus called AISHELL-1 is released. It is by far the largest corpus which is suitable for conducting the speech recognition research and building speech recognition systems for Mandarin. The recording procedure, including audio capturing devices and environments are presented in details. The preparation of the related resources, including transcriptions and lexicon are described. The corpus is released with a Kaldi recipe. Experimental results implies that the quality of audio recordings and transcriptions are promising.

研究の動機と目的

• ASR 研究および製品レベル開発に適したオープンで大規模なマンダリン音声コーパスを提供する。
• データ品質と再現性を確保するための録音手順、メタデータ、書き起こしおよび辞書の準備を詳述する。
• 信頼性のある Mandarin ASR ベースラインを確立するための drop-in Kaldi レシピを提供する。
• 複数の音響モデルおよびチャネルでのベースライン実験を通じてコーパスの品質を示す。

提案手法

• AISHELL-1 を 400 speakers/170+ hours のサブセットとして含む AISHELL-ASR0009 コーパスの一部としてリリース。
• 高忠実度マイクロホン、Android、iPhone チャネルを含むマルチデバイス録音設定；データを 16 kHz、16-bit WAV にリサンプリング。
• 手動書き起こし、テキスト正規化、および初期-末尾発音を含む中国語辞書。
• Kaldi ベースの ASR ベースラインを GMM-HMM から TDNN-HMM、LFMMI、 MFCC およびピッチ特徴量、i-vector 適応を含む。
• データ拡張と i-vector ベースの適応を用いて DNN の堅牢性を向上。
• 1.3 百万語の語彙からの言語モデルを構築し、三語の平滑化と OOV 対処を実施。

Fig. 1 : Recording setup

実験結果

リサーチクエスチョン

• RQ1 AISHELL-1 は複数デバイスにまたがる robust な Mandarin ASR 研究および実運用システム開発をサポートできるか。
• RQ2 モデルアーキテクチャ（GMM-HMM、TDNN-HMM、LFMMI）が AISHELL-1 での Mandarin ASR の性能にどう影響するか。
• RQ3 デバイス不一致が AISHELL-1 を用いた ASR の性能に与える影響は。
• RQ4 AISHELL-1 ベースラインは THCHS30 などの関連しないドメインや異なる言語モデル領域に generalize できるか。

主な発見

• AISHELL-1 は 340 スピーカーからの 120,098 訓練用話起し、40 からの Dev が 14,326、20 からの Test が 7,176（各スピーカーあたり約 26 分程度）を含む。
• ベースラインの結果は LFMMI が TDNN-HMM および MLLT+SAT を上回り、LFMMI の dev CER が 6.44%、test CER が 7.62%。
• TDNN-HMM は dev CER が 7.23%、test CER が 8.42%、MLLT+SAT は dev CER が 10.43%、test CER が 12.23%。
• デバイス不一致テスト（iOS 対 Android）は、LFMMI が Android で 10.90% dev、10.09% test、iOS で 12.64% dev、11.88% test、TDNN-HMM は最大で 12.42%/10.81%。
• AISHELL-1 モデルを THCHS30 に適用した結果はすべてのモデルで CER が高く、例えば LFMMI は THCHS30 で 25.00% を示し、ドメイン適応の利点を示唆。
• 結果はコーパスが音素豊富であり、Kaldi レシピを用いて Mandarin ASR ベースラインを構築するのに適していることを示している。