[論文レビュー] Deep Residual Learning for Small-Footprint Keyword Spotting

Raphael Tang, Jimmy Lin|arXiv (Cornell University)|Oct 28, 2017

Speech Recognition and Synthesis参考文献 8被引用数 9

ひとこと要約

本稿では、Google Speech Commands Dataset において最先端の精度を達成する、小規模なフォームファクタ用に拡張畳み込みを用いた深層残差ネットワーク（ResNets）を提案している。残差学習により、より深い、より正確なモデルをコンactなフォームファクタで実現できることを示しており、238Kパラメータで95.8%の精度を達成し、従来のCNNを上回っている一方で、推論計算量を18倍削減している。

ABSTRACT

We explore the application of deep residual learning and dilated convolutions to the keyword spotting task, using the recently-released Google Speech Commands Dataset as our benchmark. Our best residual network (ResNet) implementation significantly outperforms Google's previous convolutional neural networks in terms of accuracy. By varying model depth and width, we can achieve compact models that also outperform previous small-footprint variants. To our knowledge, we are the first to examine these approaches for keyword spotting, and our results establish an open-source state-of-the-art reference to support the development of future speech-based interfaces.

研究の動機と目的

• 低リソースでオンデバイス環境におけるキーワードスプライティングの精度を向上させること。
• 小規模フォームファクタのキーワードスプライティングに、残差学習と拡張畳み込みを新規に適用すること。
• Google Speech Commands Dataset を用いて、公開可能で最先端のベンチマークモデルを確立すること。
• 従来のコンactなCNNよりも、モデルの精度、パラメータ数、推論計算量のトレードオフを改善すること。

提案手法

• 著者らは、Heらの研究を参考にした残差ネットワーク（ResNet）アーキテクチャを実装し、残差ブロックが残差マッピング H(x) = F(x) + x を学習することで、深層ネットワークの学習を容易にしている。
• 受容 field を拡大するために、ネットワークの深さを増さずに拡張畳み込みが適用され、1秒間の音声コンテキストをモデル化できる。
• 入力音声は20Hz～4kHzのバンドパスフィルタをかけた後、30msのウィンドウと10msのシフトを用いて40次元のMFCC特徴量を抽出し、1秒間分をスタックする。
• ドロップアウトの代わりに、各畳み込み層の後にバッチ正規化が適用され、非線形性を導入するためにReLU活性化関数が使用されている。
• パラメータ数や乗算演算数とのトレードオフを調査するために、ネットワークの深さと幅を体系的に変化させた。
• 学習には、モーメンタム0.9、重み減衰10⁻⁵、コサインスケジュールの学習率を用いた確率的勾配降下法を採用し、全26エポックで学習を行った。

実験結果

リサーチクエスチョン

• RQ1 深層残差学習は、小さなフォームファクタを維持したまま、キーワードスプライティングの精度を向上させることができるか？
• RQ2 拡張畳み込みは、ネットワークの深さを増さずに、長距離の時間的依存性をどのように向上させるか？
• RQ3 小規模フォームファクタのキーワードスプライティングにおいて、ネットワークの深さ、幅、推論効率の最適なトレードオフは何か？
• RQ4 Google Speech Commands Dataset において、ResNetベースのアプローチは、従来のCNNと比べて精度とモデル効率の両面で優れているか？

主な発見

• 完全なResNetモデル（res15）は、238Kパラメータで95.8%のテスト精度を達成し、Googleが開発した最良の従来CNN（91.7%）を大きく上回っている。
• コンパクトなResNetバージョン（res8-narrow）は、わずか19.9Kパラメータと5.65Mの乗算演算で90.1%の精度を達成し、ベースラインのtpool2モデルと比べて50倍少ないパラメータと18倍少ない乗算演算を実現している。
• res8-wideモデルは、すべての従来のGoogle CNNを上回る精度を達成しながらも、より小さなフォームファクタを実現しており、深さよりも幅の影響が性能向上に大きく寄与していることが示された。
• より深いネットワーク（例：res26）は、res15と比べて性能が低下しており、特定の深さを超えると過学習や最適化の難しさが顕在化していることが示唆された。
• ROC曲線の結果から、res15はすべての動作点で他のすべてのモデルを上回っており、res8-narrowは、精度と効率の両面で従来のコンパクトモデル（one-stride1）を上回っている。
• 本研究の結果は、Google Speech Commands Dataset において、将来の再現可能な比較が可能なオープンソースの最先端ベンチマークを確立した。