[論文レビュー] TinySpeech: Attention Condensers for Deep Speech Recognition Neural Networks on Edge Devices

Alexander Wong, Mahmoud Famouri+2 more|arXiv (Cornell University)|Aug 10, 2020

Speech Recognition and Synthesis参考文献 30被引用数 29

ひとこと要約

本論文では、局所的およびクロスチャネル活性化関係を要約する埋め込みを学習する、自己完結型で独立した自己注意モジュール「アテンションコンデンサー」を導入し、エッジデバイスにおける高効率なオンデバイス音声認識を実現する。本手法で構築されたTinySpeechネットワークは、機械駆動の設計最適化を経て、先行研究と比較して最大507倍少ないパラメータ数、48倍少ないFLOPs、2028倍低い重みメモリを実現しながらも、Google Speech Commandsデータセットにおいて高い精度を維持する。

ABSTRACT

Advances in deep learning have led to state-of-the-art performance across a multitude of speech recognition tasks. Nevertheless, the widespread deployment of deep neural networks for on-device speech recognition remains a challenge, particularly in edge scenarios where the memory and computing resources are highly constrained (e.g., low-power embedded devices) or where the memory and computing budget dedicated to speech recognition is low (e.g., mobile devices performing numerous tasks besides speech recognition). In this study, we introduce the concept of attention condensers for building low-footprint, highly-efficient deep neural networks for on-device speech recognition on the edge. An attention condenser is a self-attention mechanism that learns and produces a condensed embedding characterizing joint local and cross-channel activation relationships, and performs selective attention accordingly. To illustrate its efficacy, we introduce TinySpeech, low-precision deep neural networks comprising largely of attention condensers tailored for on-device speech recognition using a machine-driven design exploration strategy, with one tailored specifically with microcontroller operation constraints. Experimental results on the Google Speech Commands benchmark dataset for limited-vocabulary speech recognition showed that TinySpeech networks achieved significantly lower architectural complexity (as much as $507 imes$ fewer parameters), lower computational complexity (as much as $48 imes$ fewer multiply-add operations), and lower storage requirements (as much as $2028 imes$ lower weight memory requirements) when compared to previous work. These results not only demonstrate the efficacy of attention condensers for building highly efficient networks for on-device speech recognition, but also illuminate its potential for accelerating deep learning on the edge and empowering TinyML applications.

研究の動機と目的

• 低消費電力の組み込みシステムやメモリと計算リソースが限られたモバイルデバイスなどのリソース制約のあるエッジ環境において、ディープニューラルネットワークをオンデバイス音声認識に展開する課題に対処すること。
• 大規模な畳み込みモジュールに依存する傾向がある既存の畳み込みニューラルネットワーク（CNN）ベースのアーキテクチャの複雑さの制限を克服し、大規模な畳み込みモジュールへの依存を低減する新しい注目ベースの設計パターンを導入すること。
• 機械駆動の設計探索戦略を用いて、限られた語彙の音声認識に特化した、極めて効率的で低精度のディープニューラルネットワークを開発すること。
• アーキテクチャ的・計算的複雑さを最小限に抑えることで、リアルタイムでプライバシーを守り、クラウドに依存しない音声認識をエッジデバイスで実現すること。この際、精度を損なわないようにすること。

提案手法

• 局所的およびクロスチャネル活性化関係の関係を要約する埋め込みを学習する自己完結型・独立型のモジュールとしてアテンションコンデンサーを導入する。
• 強い活性化に近接する活性化に注目を集中させる選択的注目を実現するようにアテンションコンデンサーを設計し、効率性と表現品質を向上させる。
• 大規模な畳み込みモジュールの使用を限定的とし、アテンションコンデンサーの頻繁な使用を組み込むことで、全体の複雑さを低減する深層ニューラルネットワークアーキテクチャを構築する。
• 最小限のフットプリントと高い精度を実現するため、ネットワークアーキテクチャ、ハイパーパramータ、精度（例：量子化）を最適化する機械駆動の設計探索戦略を適用する。
• Google Speech Commandsベンチマーク上でTinySpeechネットワークを学習・評価し、低精度推論およびエッジデバイスへのデプロイ制約に焦点を当てる。
• 設計段階で厳密なメモリおよび計算制限を課すことにより、マイコンロジックで動作するよう最適化された1つのバージョン、TinySpeech-Mを特別に設計する。

実験結果

リサーチクエスチョン

• RQ1 アテンションコンデンサーは、精度を損なわずに、オンデバイス音声認識のためのディープニューラルネットワークのアーキテクチャ的・計算的複雑さを顕著に低減できるか？
• RQ2 限られた語彙の音声認識において、アテンションコンデンサーの統合は、従来のCNNベースのアーキテクチャと比較して、パラメータ数、FLOPs、メモリ使用量の観点でどの程度優れているか？
• RQ3 機械駆動の設計探索戦略は、マイコンクラスのエッジデバイスへのデプロイに適した低精度ニューラルネットワークをどの程度最適化できるか？
• RQ4 アテンションコンデンサーは、マイコンに見られるような極めてリソース制約の厳しい環境でも、高い精度の音声認識を実現できるか？

主な発見

• TinySpeechネットワークは、trad-fpool13などの先行最先端モデルと比較して最大507倍少ないパラメータ数を達成した。
• 提案されたネットワークは、最大48倍少ない乗加算演算（FLOPs）を要し、計算コストの顕著な低減を実現した。
• 重みメモリ要件は最大2028倍低減され、超低メモリデバイスへのデプロイが可能になった。
• TinySpeech-Mは、trad-fpool13と比較して1.4%高い精度を達成した一方で、約291倍少ないパラメータ数と約1164倍低い重みメモリを要した。
• FLOPsはtrad-fpool13と比較して28.4倍以上少ない結果となり、顕著な計算効率を示した。
• 結果から、アテンションコンデンサーは、精度、モデルサイズ、推論コストの間で優れたトレードオフを実現できることを確認した。これは、TinyMLアプリケーションに最適である。