[論文レビュー] Hardware Aware Training for Efficient Keyword Spotting on General Purpose and Specialized Hardware

Peter Blouw, Gurshaant Malik+3 more|arXiv (Cornell University)|Sep 9, 2020

Speech Recognition and Synthesis参考文献 15被引用数 8

ひとこと要約

本論文は、レジェンドル記憶ユニット（LMU）に基づくキーワードスプライティング（KWS）モデルのためのハードウェアに配慮した訓練（HAT）を導入し、最小限のモデルサイズと超低消費電力で最先端の精度（95.9%）を達成した。LMUアーキテクチャとハードウェアデプロイメントを同時に最適化することで、独自のアクセラレータハードウェア上でわずか8.79 μWの消費電力でリアルタイムかつオンデバイス推論が可能となり、一般用途のマイコンでは24倍、専用ASICでは16倍の電力効率を発揮した。

ABSTRACT

Keyword spotting (KWS) provides a critical user interface for many mobile and edge applications, including phones, wearables, and cars. As KWS systems are typically 'always on', maximizing both accuracy and power efficiency are central to their utility. In this work we use hardware aware training (HAT) to build new KWS neural networks based on the Legendre Memory Unit (LMU) that achieve state-of-the-art (SotA) accuracy and low parameter counts. This allows the neural network to run efficiently on standard hardware (212$μ$W). We also characterize the power requirements of custom designed accelerator hardware that achieves SotA power efficiency of 8.79$μ$W, beating general purpose low power hardware (a microcontroller) by 24x and special purpose ASICs by 16x.

研究の動機と目的

• リアルタイムで常に稼働するエッジデバイスに適した、高精度かつ低消費電力のキーワードスプライティングシステムの開発。
• ストリーミング推論、量子化、電力効率といった実世界のデプロイメント制約を満たさない既存のKWSモデルの限界を解決すること。
• ハードウェアに配慮した訓練（HAT）が、一般用途のマイコンからカスタムアクセラレータまで多様なハードウェアプラットフォームで優れたパフォーマンスを実現できることを示すこと。
• 特にマルチキーワード検出を想定し、精度、モデルサイズ、電力効率を同時に最先端の水準に達成すること。
• パラメータ効率の良いLMUベースのモデルが、高精度を維持しながらも、専用ASICを上回る電力効率を発揮できることを示すこと。

提案手法

• 著者らは、ハードウェアに配慮した訓練（HAT）を用い、ニューラルネットワークアーキテクチャとハードウェアデプロイメントを同時に最適化し、訓練中にハードウェア制約を明示的にモデル化した。
• 彼らは、レジェンドル基底関数を用いて記憶圧縮を理論的に最適化する、再帰的アーキテクチャであるレジェンドル記憶ユニット（LMU）を採用し、パラメータ数を削減するとともに、長期記憶保持性を向上させた。
• LMUは内部の再帰的接続を削除し、複数の線形記憶層を含めるように変更され、その出力が非線形変換の前に連結された。
• 低消費電力ハードウェアへの効率的なデプロイメントを可能にするために、重みと活性化を8ビットに量子化した。
• 動的電圧周波数スケーリング（DVFS）と最適化されたグルー論理を備えたカスタムアクセラレータハードウェアを設計し、リアルタイム動作時の消費電力を最小限に抑えた。
• HATを用いてモデルとハードウェアを共同設計し、異なる周波数設定における消費電力、遅延、スループットを直接最適化できるようにした。

実験結果

リサーチクエスチョン

• RQ1 ハードウェアに配慮した訓練（HAT）を用いることで、リアルタイムかつ低消費電力のキーワードスプライティングのためのニューラルネットワークアーキテクチャとハードウェアデプロイメントを同時に最適化できるか？
• RQ2 レジェンドル記憶ユニット（LMU）アーキテクチャは、標準的なRNNやCNNと比較して、KWSタスクにおいてより高い精度と少ないパラメータ数を実現できるか？
• RQ3 カスタム設計されたアクセラレータは、一般用途のマイコンや既存の専用ASICと比較して顕著に高い電力効率を達成できるか？
• RQ4 パラメータ効率の良いLMUモデルは、性能を維持または上回る状態で、専用ハードウェアの必要性をどれだけ排除できるか？
• RQ5 HATとLMUアーキテクチャの組み合わせが、さまざまなハードウェアプラットフォームにおいて消費電力効率、精度、モデルサイズにどのように影響を与えるか？

主な発見

• LMUベースのKWSモデルは、SpeechCommandsデータセットで95.9%の精度を達成し、精度と効率の両面で先行する最先端のモデルを上回った。
• Syntiant NDP10x ASICと比較して、パラメータ数が12倍少ないにもかかわらず、精度は95.9%（対比94.0%）で上回り、消費電力は16–19倍低減した。
• 標準のARM M4Fマイコン上では、212 μWの消費電力を示し、報告済みの最良の一般用途ハードウェア効率比で24倍の改善を達成した。
• カスタム設計されたアクセラレータは、92 kHzのクロック周波数で記録的な低消費電力8.79 μWを達成し、フレームスループットは13.38 ms、40 ms更新のための遅延は39.59 msであった。
• 理想化されたARM M4F上でHAT最適化LMUモデルを実行した場合、119 μWの消費電力で動作し、報告済みの最良の一般用途ハードウェア比で14倍の電力効率向上を達成した。
• これらの結果は、HATがハードウェアプラットフォーム全体にわたり電力効率を直接最適化できることを示しており、高精度かつ低消費電力のKWSが一般および専用ハードウェアの両方で実現可能であることを裏付けた。