[論文レビュー] A.I. based Embedded Speech to Text Using Deepspeech

Muhammad Hafidh Firmansyah, Anand Paul+2 more|arXiv (Cornell University)|Feb 25, 2020

Speech Recognition and Synthesis参考文献 8被引用数 4

ひとこと要約

この論文は、Raspberry Pi 3B+ における埋め込み音声認識のための Deepspeech バージョン 0.1.0、0.1.1、0.6.0 の性能を評価し、Deepspeech 0.6.0 が顕著に高速な推論（7秒対102秒）とリソース使用量の低減（100% CPU、200 MB メモリ 対 250% CPU、800 MB メモリ）を達成しながらも正確な音声認識を維持することを示しており、TensorFlow Lite の最適化を用いることで、低消費電力デバイス上でスタンドアロンでオフラインで音声認識が可能になることを実証している。

ABSTRACT

Deepspeech was very useful for development IoT devices that need voice recognition. One of the voice recognition systems is deepspeech from Mozilla. Deepspeech is an open-source voice recognition that was using a neural network to convert speech spectrogram into a text transcript. This paper shows the implementation process of speech recognition on a low-end computational device. Development of English-language speech recognition that has many datasets become a good point for starting. The model that used results from pre-trained model that provide by each version of deepspeech, without change of the model that already released, furthermore the benefit of using raspberry pi as a media end-to-end speech recognition device become a good thing, user can change and modify of the speech recognition, and also deepspeech can be standalone device without need continuously internet connection to process speech recognition, and even this paper show the power of Tensorflow Lite can make a significant difference on inference by deepspeech rather than using Tensorflow non-Lite.This paper shows the experiment using Deepspeech version 0.1.0, 0.1.1, and 0.6.0, and there is some improvement on Deepspeech version 0.6.0, faster while processing speech-to-text on old hardware raspberry pi 3 b+.

研究の動機と目的

• Raspberry Pi 3B+ などの低計算能力の埋め込みデバイスにおける、さまざまな Deepspeech バージョンの性能を評価すること。
• 事前学習済み Deepspeech モデルを用いて、リソース制限のあるハードウェアにエンドツーエンドでオフライン音声認識システムをデプロイ可能かどうかを評価すること。
• Deepspeech バージョン 0.1.0、0.1.1、0.6.0 間で、推論速度、メモリ使用量、CPU 使用率を比較すること。
• 埋め込みプラットフォームにおける推論パフォーマンス向上に、TensorFlow Lite を使用する利点を実証すること。

提案手法

• 実験に際して、再訓練を行わず、バージョン 0.1.0、0.1.1、0.6.0 の事前学習済み Deepspeech モデルをそのまま使用し、一貫したモデル重みを確保した。
• 同じ2秒の音声ファイルを用いて、Raspberry Pi 3B+ で全バージョンで音声認識を実行し、公平な比較を実現した。
• モデルのロードおよび推論中、システム監視ツールを用いてリアルタイムでリソース使用量（CPU およびメモリ）をモニタリングした。
• 推論時間、モデルロード時間、音声認識の正確性を各バージョン間で測定・比較した。
• 推論速度に与える TensorFlow Lite の影響を評価し、標準の TensorFlow に比べ顕著なパフォーマンス向上が得られることを示した。
• Deepspeech のアーキテクチャは、ReLU 活性化関数を用いた5層のニューラルネットワークであり、4層目に双方向 RNN を、出力層には文字レベル予測用のソフトマックス層を備えている。

実験結果

リサーチクエスチョン

• RQ1 Raspberry Pi 3B+ における Deepspeech の各バージョン（0.1.0、0.1.1、0.6.0）の推論パフォーマンスはどのように異なるか？
• RQ2 埋め込み環境における Deepspeech デプロイに、TensorFlow Lite を使用した場合、推論速度およびリソース使用量にどのような影響を与えるか？
• RQ3 モデルロードおよび推論中における、CPU およびメモリ使用量は、Deepspeech の各バージョンでどのように変化するか？
• RQ4 低性能ハードウェアにおいて、バージョン 0.1.0 から 0.6.0 に更新することで、モデルロード時間はどの程度改善されるか？
• RQ5 各 Deepspeech バージョンは、同じ音声ファイルをどの程度正確に音声認識できるか？また、正解（グランドトゥース）と比較して、音声認識品質はどのように異なるか？

主な発見

• Deepspeech 0.6.0 は、2秒の音声ファイルに対する推論時間を、バージョン 0.1.0 の102秒からわずか7秒に短縮した。
• モデルロード時間は、バージョン 0.1.0 および 0.1.1 の21秒から、バージョン 0.6.0 ではたったの0.0036秒に劇的に短縮された。
• CPU 使用率は、バージョン 0.1.0 および 0.1.1 で250% にピークしたのに対し、バージョン 0.6.0 では100% に抑えられ、大幅な効率化が実現された。
• メモリ使用量は、初期バージョンの800 MB からバージョン 0.6.0 では200 MB に削減され、メモリ制限のあるデバイスに適したものとなった。
• 速度と効率の向上にもかかわらず、バージョン 0.6.0 の音声認識結果（'She had adored water or'）は、バージョン 0.1.1 の結果（'She had er duc suot an gresy wahorer all year'）よりもやや正確性に欠けるが、両者ともバージョン 0.1.0 よりは正解に近い。
• バージョン 0.6.0 で TensorFlow Lite を使用したことで、顕著なパフォーマンス向上が得られ、低消費電力の埋め込みシステムでリアルタイムかつオフライン音声認識が実現可能になった。