[論文レビュー] MatchboxNet: 1D Time-Channel Separable Convolutional Neural Network Architecture for Speech Commands Recognition

Somshubra Majumdar, Boris Ginsburg|arXiv (Cornell University)|Apr 18, 2020

Speech Recognition and Synthesis参考文献 33被引用数 82

ひとこと要約

MatchboxNet は、時間-チャネル分離畳み込みを用いて、類似モデルと比較して顕著に少ないパラメータで Google Speech Commands データセットにおいて最先端の精度を達成するコンactでエンドツーエンドの1次元畳み込みニューラルネットワークである。音声認識の高効率性とスケーラビリティを実現するとともに、背景ノイズと音声による豊富なデータ拡張により、耐障害性が向上している。

ABSTRACT

We present an MatchboxNet - an end-to-end neural network for speech command recognition. MatchboxNet is a deep residual network composed from blocks of 1D time-channel separable convolution, batch-normalization, ReLU and dropout layers. MatchboxNet reaches state-of-the-art accuracy on the Google Speech Commands dataset while having significantly fewer parameters than similar models. The small footprint of MatchboxNet makes it an attractive candidate for devices with limited computational resources. The model is highly scalable, so model accuracy can be improved with modest additional memory and compute. Finally, we show how intensive data augmentation using an auxiliary noise dataset improves robustness in the presence of background noise.

研究の動機と目的

• 低リソースのエッジデバイス向けに、キーワードスプライティング用のコンパクトで効率的なディープラーニングモデルを開発すること。
• 既存の音声コマンド認識モデルと比較して精度を損なわずに、モデルパラメータを削減すること。
• 高度なデータ拡張技術を用いて、背景ノイズおよび音声に対する耐障害性を向上させること。
• 異なるモデルサイズおよびハードウェア制約において、アーキテクチャのスケーラビリティを示すこと。

提案手法

• パラメータ数を削減しながら性能を維持するために、1次元時間-チャネル分離畳み込みを用いる。
• バッチ正則化、ReLU、ドロップアウトを含む複数のサブブロックを備えた残差ブロックから構成される深層残差ネットワークとして構築される。
• 主な残差ブロックの前後で特徴変換を行うためのプロローグおよびエピローグサブブロックを含む。
• 時間シフト、ホワイトノイズ、SpecAugment、SpecCutout、および Freesound データベースからの追加の背景ノイズを含む、広範なデータ拡張が適用される。
• V-100 GPU 上で混合精度学習を用い、ウォームアップ-ホールド-スケジュールの学習率スケジュールに従い、NovoGrad 最適化手法で訓練される。
• 本物の環境ノイズと背景音声で拡張されたデータセットを再訓練することで、耐障害性が向上する。

実験結果

リサーチクエスチョン

• RQ1 1次元時間-チャネル分離畳み込みアーキテクチャは、既存のモデルと比較して少ないパラメータで音声コマンド認識において最先端の精度を達成できるか？
• RQ2 MatchboxNet において、深さ（B×R）または幅（C）を増加させた場合、モデルのスケーラビリティは性能にどのように影響するか？
• RQ3 補助的な背景ノイズを用いた学習は、本物のノイズ環境における耐障害性をどの程度向上させるか？
• RQ4 エッジデバイスへのデプロイに適した高効率なコンパクトさを保ちながら、高い精度を維持できるか？
• RQ5 ノイズ環境下での信号対雑音比（SNR）が変化する条件下で、モデルの性能はいかがなっているか？

主な発見

• MatchboxNet-3x2x64 は、Google Speech Commands v1 でわずか 93K パラメータで 97.48% の精度を達成し、DenseNet-BC-100（800K パラメータ）や EdgeSpeechNet-A（107K パラメータ）を上回っている。
• v2 では、MatchboxNet-3x2x64 が 93K パラメータで 97.21% の精度に達し、385K パラメータを有する 'Embedding + Head' モデルに近い性能を示している。
• モデルを MatchboxNet-6x2x64 にスケーリングすることで、v2 で 97.55% の精度に向上し、パラメータの増加が最小限であるにもかかわらず、強力なスケーラビリティが実証された。
• 追加の背景ノイズと音声拡張を用いて訓練されたモデルは、クリーンなテストデータで 97.05% の精度を達成し、基本的な拡張と比較して劣化がないことが示された。
• ノイズ環境（SNR は -10 dB から 50 dB）下でも、MatchboxNet-6x2x64 は 50 dB SNR で 97.33% の精度を維持し、全 SNR レベルで 3x1x64 バージョンを上回っている。
• 背景音声およびノイズクラスを含むデータセットで再訓練されたモデルは、拡張された v2 データセットで 96.97% の精度を達成し、本物の環境下での耐障害性の向上が確認された。