[論文レビュー] Trace norm regularization and faster inference for embedded speech recognition RNNs

Markus Kliegl, Siddharth Goyal+3 more|arXiv (Cornell University)|Oct 25, 2017

Speech Recognition and Synthesis参考文献 6被引用数 6

ひとこと要約

本稿では、事前のランク知識が不要な状態で、より良いパラメータ精度トレードオフを実現するため、音声認識モデルにおける低ランク再帰層および全結合層の学習にトレースノルム正則化を導入する。また、低バッチサイズにおいて3倍～7倍の高速化を実現する最適化されたARM64カーネルを提示しており、組み込み型LVCSRシステムにおけるオンデバイス性能を顕著に向上させる。

ABSTRACT

We propose and evaluate new techniques for compressing and speeding up dense matrix multiplications as found in the fully connected and recurrent layers of neural networks for embedded large vocabulary continuous speech recognition (LVCSR). For compression, we introduce and study a trace norm regularization technique for training low rank factored versions of matrix multiplications. Compared to standard low rank training, we show that our method leads to good accuracy versus number of parameter trade-offs and can be used to speed up training of large models. For speedup, we enable faster inference on ARM processors through new open sourced kernels optimized for small batch sizes, resulting in 3x to 7x speed ups over the widely used gemmlowp library. Beyond LVCSR, we expect our techniques and kernels to be more generally applicable to embedded neural networks with large fully connected or recurrent layers.

研究の動機と目的

• 厳密な遅延およびサイズ制約が課されるリソース制限のある組み込みデバイスに、大規模で高精度な音声認識モデルをデプロイする課題に対処する。
• RNNおよび全結合層における密行列乗算の圧縮により、大語彙連続音声認識（LVCSR）システムにおけるモデルサイズと推論遅延を低減する。
• 新しいトレースノルム正則化技術を用いて、最適なランクを自動的に選択する低ランク因子分解ネットワークの学習効率とモデル精度を向上させる。
• 小バッチサイズ（シーケンシャルなRNN処理で一般的な1～4）を想定したカスタムカーネルの設計により、ARMプロセッサ上の推論性能を最適化する。

提案手法

• トレースノルム正則化を学習中に適用し、重み行列に低ランク構造を誘導することで、手動でのランク選定を必要とせずに特異値のスパarsityを促進する。
• 2段階の訓練アプローチを採用：まずフルランクモデルを事前学習し、その後、事前学習済み重みの特異値分解（SVD）を切り詰めて低ランクモデルを初期化し、その後トレースノルム正則化付きのファインチューニングを実施する。
• 64ビットARM（AArch64）プロセッサを対象とし、小バッチサイズ（1～4）に最適化された手動で最適化されたアセンブリカーネルを実装し、メモリ帯域幅の効率的利用と計算効率を向上させる。
• トレースノルム正則化をint8量子化およびモデルプルーニングと組み合わせ、精度を維持したままさらにモデルを圧縮する。
• iPhone 7、iPhone 6、Raspberry Pi 3などのデバイス上で、広く使われている低精度GEMMライブラリgemmlowpと性能を比較する。
• GitHubを通じて最適化カーネルおよび実装詳細を公開し、組み込みディープラーニングシステムにおける広範な採用を促進する。

実験結果

リサーチクエスチョン

• RQ1 トレースノルム正則化は、最適ランクの事前知識がなくても、低ランク因子分解RNNの精度とパラメータ効率を向上させることができるか？
• RQ2 トレースノルム正則化は、LVCSRモデルにおける競争力のあるWERを維持しつつ、パラメータ数の削減にどの程度効果を発揮するか？
• RQ3 既存のライブラリ（gemmlowpなど）と比較して、カスタムARM64カーネルは小バッチサイズGEMMの推論速度をどの程度向上させるか？
• RQ4 小バッチサイズ最適化は、オンデバイス音声認識システムにおけるエンドツーエンド遅延にどのような影響を及えるか？
• RQ5 低ランク因子分解、量子化、最適化カーネルの組み合わせにより、多様な組み込みデバイスで生産用途に耐えるオンデバイス音声認識が実現可能か？

主な発見

• トレースノルム正則化により、最適ランクの事前知識がなくても自動でランク選択が可能となり、標準的な低ランク学習と比較して、より優れた精度とパラメータのトレードオフが達成された。フルサイズのベースラインと比較して、WERの相対的増加率は、iPhone 7で-19.6%、iPhone 6で-27.4%、Raspberry Pi 3で-37.6%であった。
• 提案されたARM64最適化カーネルは、iPhone 7、iPhone 6、Raspberry Pi 3などのデバイスでgemmlowpよりも3倍～7倍の高速化を達成し、特に小バッチサイズ（1～4）の領域で顕著な性能向上を示した。
• 低ランク因子分解、int8量子化、カスタムカーネルの組み合わせにより、音声モデルのサイズをRaspberry Pi 3で最低14 MBまで圧縮しつつ、妥当なWERを維持した。
• 推論遅延が顕著に低減され、GPUサーバーでのリアルタイム要因が10.39からRaspberry Pi 3では1.08に低下し、リアルタイム性能の86.3%を達成した。
• 本手法はLVCSRに限定されず、組み込みプラットフォーム上で大規模な密行列または再帰層を有するニューラルネットワークの圧縮・高速化に汎用的なフレームワークを提供する。
• トレースノルム正則化技術は、標準的なSVDベースの初期化と比較して、収束性が向上し、初期ランク選択への感受性が低減することが示された。