[論文レビュー] FastGRNN: A Fast, Accurate, Stable and Tiny Kilobyte Sized Gated Recurrent Neural Network

Aditya Kusupati, Manish Singh+4 more|arXiv (Cornell University)|Jan 8, 2019

Neural Networks and Applications参考文献 47被引用数 97

ひとこと要約

本論文は FastRNN と FastGRNN を紹介する。これらは訓練を安定化し、モデルサイズを飛躍的に削減しつつ精度を維持することで、リソース制約のあるデバイス上のオンデバイス推論用にキロバイトサイズの RNN を可能にします。

ABSTRACT

This paper develops the FastRNN and FastGRNN algorithms to address the twin RNN limitations of inaccurate training and inefficient prediction. Previous approaches have improved accuracy at the expense of prediction costs making them infeasible for resource-constrained and real-time applications. Unitary RNNs have increased accuracy somewhat by restricting the range of the state transition matrix's singular values but have also increased the model size as they require a larger number of hidden units to make up for the loss in expressive power. Gated RNNs have obtained state-of-the-art accuracies by adding extra parameters thereby resulting in even larger models. FastRNN addresses these limitations by adding a residual connection that does not constrain the range of the singular values explicitly and has only two extra scalar parameters. FastGRNN then extends the residual connection to a gate by reusing the RNN matrices to match state-of-the-art gated RNN accuracies but with a 2-4x smaller model. Enforcing FastGRNN's matrices to be low-rank, sparse and quantized resulted in accurate models that could be up to 35x smaller than leading gated and unitary RNNs. This allowed FastGRNN to accurately recognize the "Hey Cortana" wakeword with a 1 KB model and to be deployed on severely resource-constrained IoT microcontrollers too tiny to store other RNN models. FastGRNN's code is available at https://github.com/Microsoft/EdgeML/.

研究の動機と目的

• 標準RNNの不安定で不正確な訓練と、ゲート付き/単位モデルにおける高い予測コストに対処する。
• 訓練を安定化させるために、最小限の追加パラメータを持つ残差接続ベースのRNN（FastRNN）を開発する。
• RNN行列を再利用するゲートを導入してFastRNNをFastGRNNへ拡張し、より小さなモデルで競争力のある精度を実現する。
• 低秩化、スパース性、量子化による大幅なモデル圧縮を、精度の大幅な低下を伴わずに実現する。

提案手法

• 勾配を安定化させるために、二つの学習可能スカラー重み（α、β）を用いたFastRNNの加重残差接続を導入する。
• FastRNNの収束性がシーケンス長 T に依存しないこと、一般化境界が T に依存しないことを示す理論的境界を導出する。
• スカラー残差を、RNN 行列を再利用する各座標ゲート z_t に置換してFastGRNNを開発する。
• W と U に低秩化、スパース性、および量子化を適用して、精度を維持しつつキロバイトサイズのモデル（1–6 KB）を得る。
• FastGRNN を、低秩表現の学習、スパース構造の学習、固定サポートでの最適化という三段階の手順で訓練する。続いて、整数演算推論のためにバイト量子化を適用する。

実験結果

リサーチクエスチョン

• RQ1 残差を有する RNN（FastRNN）は、標準の RNN と比較して、追加パラメータを最小限に抑えつつ安定した訓練と競争力のある精度を達成できるのか？
• RQ2 ゲートベースの拡張（FastGRNN）は、RNN 行列を再利用して、モデルサイズの一部を削減しつつ最先端に近い精度を維持できるのか？
• RQ3 低秩化・スパース・量子化表現は、FastGRNN の精度損失を大幅に避けつつどの程度圧縮できるのか？
• RQ4 キロバイトサイズの FastGRNN モデルは、リアルタイムのオンデバイス wakeword 検出や他の IoT タスクに適しているのか？

主な発見

• FastRNN は二つの学習可能な重みを用いた残差接続により、標準の RNN に比べて訓練の安定性が証明可能に向上し、収束が速くなる。
• FastGRNN は、最先端のゲート付き RNN の精度に匹敵するかそれを上回りつつ、先頭のゲート/ユニタリ RNN より 2–4 倍少ないパラメータで実現する。
• 低秩化・スパース・量子化の制約の下で、FastGRNN モデルは最先端のゲート付き/ユニタリ RNN より最大 35 倍小さくなる。
• 1 KB の FastGRNN モデルは、 Hey Cortana の wakeword をより大きなモデルに匹敵する精度で認識でき、資源制約が厳しい IoT デバイスに展開可能。
• IoT ハードウェア上で、FastGRNN は推論時に従来の RNN 手法より著しく高速（例: 一部のボードで 18–42 倍、他の比較で 25–45 倍）である。