[論文レビュー] AutoKWS: Keyword Spotting with Differentiable Architecture Search

Bo Zhang, Wenfeng Li+4 more|arXiv (Cornell University)|Sep 8, 2020

Speech and Audio Processing参考文献 29被引用数 6

ひとこと要約

この論文では、リソース制約のあるデバイス向けに効率的で高精度なキーワードスプライティング（KWS）モデルを発見するための微分可能ニューラルアーキテクチャ探索（NAS）フレームワーク、AutoKWSを提案する。独自に設計したTC-ResNetベースの探索空間にNoisyDARTSを適用することで、Google Speech Commands V1データセットでわずか約10万パラメータで97.2%のトップ1精度を達成し、精度とモデル効率の両面で先行研究を上回った。

ABSTRACT

Smart audio devices are gated by an always-on lightweight keyword spotting program to reduce power consumption. It is however challenging to design models that have both high accuracy and low latency for accurate and fast responsiveness. Many efforts have been made to develop end-to-end neural networks, in which depthwise separable convolutions, temporal convolutions, and LSTMs are adopted as building units. Nonetheless, these networks designed with human expertise may not achieve an optimal trade-off in an expansive search space. In this paper, we propose to leverage recent advances in differentiable neural architecture search to discover more efficient networks. Our searched model attains 97.2% top-1 accuracy on Google Speech Command Dataset v1 with only nearly 100K parameters.

研究の動機と目的

• スマート音声デバイスにおける厳密な遅延およびパラメータ制約を満たす、軽量で高精度なキーワードスプライティングモデルを設計する課題に対処すること。
• 精度、モデルサイズ、計算コストのバランスをとるのが難しい手動で設計されたニューラルアーキテクチャの限界を克服すること。
• 微分可能ニューラルアーキテクチャ探索（DARTSおよびその変種）を、IoTデバイスへの実装に適した方法でキーワードスプライティングタスクに適用すること。
• 強化されたDARTS変種（例：NoisyDARTS）が、標準DARTSに比べてKWS分野でより優れた性能と安定性を示すかどうかを評価すること。

提案手法

• 各層が複数の候補演算（例：異なるカーネルサイズ、ディープワイド分離畳み込み）とスキップ接続を含み、それぞれが学習可能なアーキテクチャパラメータαで重み付けされるTC-ResNet-SEブロックに基づく探索空間を設計する。
• 勾配ベース最適化を用いた微分可能アーキテクチャ探索により、ネットワーク重みとアーキテクチャ係数を同時に最適化し、1つのトレーニングループでエンドツーエンドの探索を可能にする。
• 既知の不安定性（例：スキップ接続の過剰使用、勾配競合の不平等）を軽減するため、FairDARTSおよびNoisyDARTSの2つの強化されたDARTS変種を適用する。
• NoisyDARTSでは、スキップ接続の特徴マップにノイズを注入することで、勾配の優位性を低減し、探索の安定性を向上させる。
• Google Speech Commandsデータセット V1およびV2上で探索されたモデルをトレーニングおよび評価し、精度、パラメータ数、乗算アド・オペレーション数の観点から性能を比較する。
• ワンショットで重み共有を行うメカニズムを導入することで、探索コストを著しく削減し、大規模なアーキテクチャ空間の効率的探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 微分可能ニューラルアーキテクチャ探索は、エッジデバイス向けに軽量で高精度なキーワードスプライティングモデルを効果的に発見できるか？
• RQ2 FairDARTSおよびNoisyDARTSといった強化されたDARTS変種は、標準DARTSに比べてKWSタスクにおける探索の安定性と性能をどのように向上させるか？
• RQ3 TC-ResNet-SEブロックに基づく提案された探索空間設計は、手動で設計されたベースラインを上回る精度と効率を実現するアーキテクチャの発見を可能にするか？
• RQ4 スキップ接続におけるノイズ注入（NoisyDARTS）は、リーダーブロックへのバイアスをどれほど低減させ、探索されたアーキテクチャの品質を向上させるか？
• RQ5 探索されたモデルは、データ量が増加したV2バージョンのSpeech Commandsデータセットに対しても十分に一般化できるか？

主な発見

• NoisyDARTS-TC14モデルは、Google Speech Commands V2データセットで平均97.18%、最高97.44%の精度を達成し、精度と効率の両面で先行研究を上回った。
• NoisyDARTS-TC14モデルは、V1データセットで109Kパラメータで97.2%のトップ1精度を達成し、同時期の手法NAS2の886Kパラメータよりも顕著に少ない。
• NoisyDARTS変種は、NAS2に比べて平均パラメータ数を約8倍削減し、アーキテクチャ探索における優れた効率性を示した。
• ROC曲線解析から、NoisyDARTS-TC14モデルはMHAtt-RNNおよびブーストドTC-ResNet-365Kモデルに比べ、偽陽性と偽陰性のトレードオフをより良好に達成した。
• FairDARTSおよびNoisyDARTSの両方が、標準DARTSで見られるスキップ接続の過剰使用を緩和し、より多様で高性能なアーキテクチャを生成した。
• 探索プロセスは安定的かつ再現可能であり、複数回の実行においてNoisyDARTSはランダムサーチおよび標準DARTSを常に上回るモデルを発見した。