[論文レビュー] Kaldi+PDNN: Building DNN-based ASR Systems with Kaldi and PDNN

Yajie Miao|arXiv (Cornell University)|Jan 27, 2014

Speech Recognition and Synthesis参考文献 12被引用数 64

ひとこと要約

本論文は、KaldiツールキットおよびTheano上で構築された軽量ディープラーニングライブラリであるPDNNに基づく、エンドツーエンドのディープニューラルネットワーク（DNN）ベースの自動音声認識（ASR）システムを構築するオープンソースのレシピを提示する。Switchboard 110時間コーパス上で、再現性のある結果を得られるDNNハイブリッド、CNN、ボトルネック特徴のシステムをデプロイ可能であり、新しいデータセットへの適応に柔軟かつ拡張可能であるフレームワークを提供する。

ABSTRACT

The Kaldi toolkit is becoming popular for constructing automated speech recognition (ASR) systems. Meanwhile, in recent years, deep neural networks (DNNs) have shown state-of-the-art performance on various ASR tasks. This document describes our open-source recipes to implement fully-fledged DNN acoustic modeling using Kaldi and PDNN. PDNN is a lightweight deep learning toolkit developed under the Theano environment. Using these recipes, we can build up multiple systems including DNN hybrid systems, convolutional neural network (CNN) systems and bottleneck feature systems. These recipes are directly based on the Kaldi Switchboard 110-hour setup. However, adapting them to new datasets is easy to achieve.

研究の動機と目的

• Kaldiの強力なASRパイプラインとPDNNのディープラーニング能力を組み合わせることで、DNNベースのASRシステムの開発を簡素化すること。
• KaldiとPDNNを用いたDNN音声モデルのトレーニングに適した、再利用可能なオープンソースのレシピを、標準ベンチマークで提供すること。
• 研究者や実務家が、Switchboard 110時間の設定を超えた新しいデータセットに、このシステムを簡単に適応できること。
• 統一されたフレームワーク内で、ハイブリッド、CNN、ボトルネック特徴システムを含む、複数のDNNアーキテクチャの有効性を示すこと。

提案手法

• 特徴抽出、デコード、システムトレーニングのためのコアパイプラインとしてKaldi ASRツールキットを採用する。
• Theano上で構築された軽量ディープラーニングライブラリであるPDNNを活用し、DNN音声モデルを実装する。
• すべてのレシピの基本トレーニング設定として、Switchboard 110時間データセットを用いる。
• DNNハイブリッドシステム、畳み込みニューラルネットワーク（CNNs）、ボトルネック特徴ベースのシステムの複数のモデルタイプをサポートする。
• 整流線形ユニット（ReLUs）、ドロップアウト正則化、ミニバッチ確率的勾配降下法といった標準的なディープラーニングコンponentsを採用する。
• パrameterized設定ファイルを介して、新しいデータセットへの容易な適応が可能なモジュラでスクリプトベースのレシピを提供する。

実験結果

リサーチクエスチョン

• RQ1 KaldiとPDNNを統合した統一フレームワークは、ASRにおける多様なDNNアーキテクチャを効果的にサポートできるか？
• RQ2 Kaldi+PDNNで構築されたDNNベースのシステムは、Switchboard 110時間のような標準ベンチマークでどの程度の性能を示すか？
• RQ3 提供されたレシピは、元の設定を超えた新しいデータセットへどの程度一般化され、適応可能か？
• RQ4 このフレームワーク内でのCNNやボトルネック特徴の使用による性能向上は、標準DNNハイブリッドと比べてどの程度か？

主な発見

• Kaldi+PDNNフレームワークは、DNNハイブリッド、CNN、ボトルネック特徴システムを含む、複数のDNNベースのASRシステムを一貫した性能で実装できた。
• レシピはすべてKaldiのSwitchboard 110時間の設定に基づいており、異なるモデルタイプ間で再現可能かつ比較可能な結果を得られた。
• PDNNがKaldiに効果的に統合可能であり、複雑なDNNモデルのトレーニングに最小限のオーバーヘッドで対応できることを示した。
• トレーニングスクリプトのモジュラでパrameterized設計であるため、新しいデータセットへのレシピの適応が容易であった。