[論文レビュー] EdgeSpeechNets: Highly Efficient Deep Neural Networks for Speech Recognition on the Edge

Zhong Qiu Lin, Audrey G. Chung+1 more|arXiv (Cornell University)|Oct 18, 2018

Speech Recognition and Synthesis参考文献 10被引用数 31

ひとこと要約

EdgeSpeechNetsは、エッジデバイス向けの音声認識に特化した高効率な深層ニューラルネットワークを構築するための、人間と機械の協働設計戦略を提唱する。人間主導のアーキテクチャープロトタイピングと機械主導の生成的合成を組み合わせることで、Google Speech Commandsデータセットにおいて最高水準の精度（最大約97％）を達成しながら、従来モデルと比較してモデルサイズを最大7.8倍、乗算加算演算（FLOPs）を最大36倍、推論遅延を10倍まで低減したEdgeSpeechNetsを実現した。

ABSTRACT

Despite showing state-of-the-art performance, deep learning for speech recognition remains challenging to deploy in on-device edge scenarios such as mobile and other consumer devices. Recently, there have been greater efforts in the design of small, low-footprint deep neural networks (DNNs) that are more appropriate for edge devices, with much of the focus on design principles for hand-crafting efficient network architectures. In this study, we explore a human-machine collaborative design strategy for building low-footprint DNN architectures for speech recognition through a marriage of human-driven principled network design prototyping and machine-driven design exploration. The efficacy of this design strategy is demonstrated through the design of a family of highly-efficient DNNs (nicknamed EdgeSpeechNets) for limited-vocabulary speech recognition. Experimental results using the Google Speech Commands dataset for limited-vocabulary speech recognition showed that EdgeSpeechNets have higher accuracies than state-of-the-art DNNs (with the best EdgeSpeechNet achieving ~97% accuracy), while achieving significantly smaller network sizes (as much as 7.8x smaller) and lower computational cost (as much as 36x fewer multiply-add operations, 10x lower prediction latency, and 16x smaller memory footprint on a Motorola Moto E phone), making them very well-suited for on-device edge voice interface applications.

研究の動機と目的

• リソース制約のあるエッジデバイス（スマートフォンやIoTデバイスなど）に深層学習モデルをデプロイする課題に対処すること。
• 手作業によるDNN設計の限界を克服し、人間の専門知識と自動化された機械主導のアーキテクチャ探索を統合すること。
• 限られた語彙の音声認識に特化した、高効率で低フットプリントの深層ニューラルネットワーク（EdgeSpeechNets）のファミリーを構築すること。
• エッジハードウェア上で、モデルの精度、サイズ、計算コスト、推論遅延の間で優れたトレードオフを達成すること。

提案手法

• 本手法は、MFCC入力表現、バッチ正則化を施した残差ブロック、グローバル平均プーリング層に続く全結合層とソフトマックス出力層といった、既存の原則に従った人間主導のアーキテクチャープロトタイピングから始める。
• 生成的合成フレームワークを用いて機械主導の設計探索を実施し、カーネルサイズ、フィルタ数、レイヤーの深さといったアーキテクチャハイパーパrameterの細分化された自動探索を可能にする。
• モデルサイズ、FLOPs、遅延といった要件によって設計空間が制約され、エッジデバイスへのデプロイ適合性が保証される。
• 最終的なEdgeSpeechNetsは、精度、効率性、ハードウェア制約を最適化する探索プロセスを通じて生成され、Google Speech Commandsデータセットを用いた検証が実施される。
• 本手法はハイブリッド戦略を採用しており、人間の専門知識が初期アーキテクチャの青写真を定義し、機械学習が広大なアーキテクチャバリエーションの空間を探索する。
• 得られたモデルは、TensorFlow Liteを用いてモトロラのモトールE端末で評価され、実世界の推論性能（遅延とメモリフットプリント）が測定される。

実験結果

リサーチクエスチョン

• RQ1 人間と機械の協働設計戦略は、純粋に手作業または純粋に自動化されたアプローチに比べ、エッジ音声認識用の効率的DNNの構築において優れていると言えるか？
• RQ2 パラメータ数、FLOPs、遅延の観点から、限られた語彙の音声認識において、最先端の精度を維持または上回りながら、モデル効率をどの程度向上させられるか？
• RQ3 生成的合成は、粗いハイパーパrameterチューニングの範囲を越えて、新たな効率的アーキテクチャを探索できる程度まで到達するのか？
• RQ4 提案手法は、res15 や tpool2 といった既存の最先端モデルよりも顕著に小さく速く、かつ高い精度を達成するモデルを生成できるか？
• RQ5 得られたEdgeSpeechNetsは、実際の消費者向けモバイルデバイス上でどの程度の推論性能を示すのか？

主な発見

• EdgeSpeechNet-Aはテスト精度96.8％を達成し、最先端のres15モデルを1％上回ったが、パラメータ数は2.2倍少なく、乗算加算演算数は2.6倍少なかった。
• EdgeSpeechNet-Bはres15より0.5％高い精度を達成し、パラメータ数は5.4倍少なく、乗算加算演算数は7.1倍少なかった。
• EdgeSpeechNet-Cはres15より0.4％高い精度を達成し、パラメータ数は7.8倍少なく、乗算加算演算数は10.7倍少なかった。これは、モデルサイズ効率が最良であることを示している。
• EdgeSpeechNet-Dはres15と同等の精度を達成したが、乗算加算演算数は36.5倍も少なく、テスト済みのすべてのモデルの中で最も低い計算コストを実現した。
• モトロラのモトールE端末では、EdgeSpeechNet-Dは平均34msの予測遅延と1MBのメモリフットプリントを達成し、res15と比較して遅延は10倍低く、メモリフットプリントは16.5倍小さかった。
• EdgeSpeechNet-DはNetScore 106.67を達成し、res15のNetScoreを20点以上上回った。これは、精度、サイズ、計算コストのバランスが優れていることを示している。