[論文レビュー] FPGA-Based Low-Power Speech Recognition with Recurrent Neural Networks

Minjae Lee, Kyuyeon Hwang+4 more|arXiv (Cornell University)|Sep 30, 2016

Speech Recognition and Synthesis参考文献 23被引用数 5

ひとこと要約

本論文は、2つの長短期記憶（LSTM）再帰的ニューラルネットワーク（RNN）を用いたFPGAベースの低消費電力リアルタイム音声認識システムを提示する。1つは音響モデル用、もう1つは文字レベルの言語モデル用であり、統計的単語レベル言語モデルと組み合わせられている。システムは、オンチップFPGAメモリに完全に格納される6ビット量子化重みを採用し、DRAMアクセスを最小限に抑えながら高いスループットを達成。9.24 Wの消費電力で4.12×リアルタイム性能を実現し、GPUベースのシステムと比較してエネルギー効率が10倍向上していることを示している。

ABSTRACT

In this paper, a neural network based real-time speech recognition (SR) system is developed using an FPGA for very low-power operation. The implemented system employs two recurrent neural networks (RNNs); one is a speech-to-character RNN for acoustic modeling (AM) and the other is for character-level language modeling (LM). The system also employs a statistical word-level LM to improve the recognition accuracy. The results of the AM, the character-level LM, and the word-level LM are combined using a fairly simple N-best search algorithm instead of the hidden Markov model (HMM) based network. The RNNs are implemented using massively parallel processing elements (PEs) for low latency and high throughput. The weights are quantized to 6 bits to store all of them in the on-chip memory of an FPGA. The proposed algorithm is implemented on a Xilinx XC7Z045, and the system can operate much faster than real-time.

研究の動機と目的

• 組み込みおよびモバイルアプリケーションに適した低消費電力でリアルタイムの音声認識システムの開発。
• 重みの量子化によるオンチップFPGAメモリへのすべてのRNN重みの格納により、オフチップDRAMへの依存を低減すること。
• 複雑なHMMベースのデコードを、RNNベースの音響モデルと言語モデルを用いた軽量なN-bestビーム探索に置き換えること。
• 語彙に依存しないエンドツーエンドの音声認識を、文字レベルRNNと統計的単語レベル言語モデルを用いて実現すること。
• FPGA上に多数の並列処理要素（PE）を用いて、高スループットかつ低レイテンシを実現すること。

提案手法

• 音響モデル（AM）に単方向RNNを、文字レベル言語モデル（LM）に別個のRNNを用い、両者を接続主義的時系列分類（CTC）で学習。
• 木構造のN-bestビーム探索（ビーム幅128）により、AM出力、文字レベルLM出力、および統計的単語レベルLM出力を統合。HMMやWFSTネットワークを必要とせず、効率的なデコードを実現。
• 再訓練に基づく最適化を用いて、すべてのRNN重みを6ビット固定小数点精度に量子化。これによりメモリ容量を約1.1 MBに削減し、Xilinx XC7Z045 FPGAのオンチップメモリに完全に収容可能となった。
• 行列-ベクトル乗算の高速化と高スループット推論を実現するため、多数の並列処理要素（PE）を用いてRNNを実装。
• システムは単語レベル言語モデルのみをオフチップDRAMにオフロードし、エネルギー効率の悪いメモリアクセスを最小限に抑えた。
• FPGAは100 MHzで動作し、CPUは800 MHzでN-best探索を処理。WSJ eval92データセット上で4.12×リアルタイム性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 オフチップメモリアクセスを最小限に抑えたFPGA上で、完全にRNNベースの音声認識システムを効率的に実装できるか？
• RQ2 6ビット重み量子化は、すべてのモデルパラメータをオンチップに格納可能にしながら、認識精度を維持するのにどの程度有効か？
• RQ3 HMMやWFSTデコードに代わる軽量なN-bestビーム探索は、認識性能を損なわずに行えるか？
• RQ4 GPUベースの実装と比較して、FPGAベースのRNNシステムの実現可能なリアルタイム性能とエネルギー効率はどの程度か？
• RQ5 文字レベルRNNと単語レベル言語モデルを組み合わせることで、語彙に依存しないエンドツーエンドの設定において、認識精度はどの程度向上するか？

主な発見

• FPGAベースのシステムは、100-MHzクロックを用いてWSJ eval92データセットで4.12×リアルタイム性能を達成。消費電力単位あたりの速度において、GPUベースのシステムを顕著に上回った。
• 評価基板上でシステムの消費電力は9.24 Wにとどまり、DRAMと周辺機器を含む。これは、比較対象の高級GPU（NVIDIA Titan X）と比較して10倍のエネルギー効率を達成した。
• 6ビット量子化重みを用いることで、モデルサイズを約1.1 MBに削減。Xilinx XC7Z045 FPGAの2.18 MBオンチップメモリに完全に収容され、RNN重みのDRAMアクセスが不要となった。
• 単語レベル言語モデルの導入により認識精度が向上し、固定小数点重みでも再スコアリングにより性能がさらに向上した。
• 6ビット量子化を用いた場合、全精度モデルと比較して語彙誤り率（WER）の増加はわずか約1.5%にとどまり、精度と効率の良好なトレードオフを実現した。
• N-bestビーム探索に必要なデータ構造は197 KBにとどまり、従来のHMMベースのWFSTネットワークが要求する数百万バイトと比べて顕著な削減が達成された。