[論文レビュー] Neural ODE with Temporal Convolution and Time Delay Neural Networks for Small-Footprint Keyword Spotting

Hiroshi Fuketa, Yukinori Morita|arXiv (Cornell University)|Aug 1, 2020

Speech Recognition and Synthesis参考文献 9被引用数 4

ひとこと要約

本論文は、小型デバイス向けに効率的な推論とモデルサイズの削減を可能にする、時間的畳み込みおよび時間遅延ニューラルネットワークを統合した新規なニューラルODEベースのアーキテクチャを提案する。バッチ正則化を組み込み、計算を最適化することで、従来のKWSモデルと比較してパラメータを68%削減した。これは、リソース制約のあるデバイスへのデプロイビリティを顕著に向上させる。

ABSTRACT

In this paper, we propose neural network models based on the neural ordinary differential equation (NODE) for small-footprint keyword spotting (KWS). We present techniques to apply NODE to KWS that make it possible to adopt Batch Normalization to NODE-based network and to reduce the number of computations during inference. Finally, we show that the number of model parameters of the proposed model is smaller by 68% than that of the conventional KWS model.

研究の動機と目的

• 制限されたメモリおよび計算リソースを備えたデバイスにキーワードスプライティングモデルをデプロイする課題に対処すること。
• バッチ正則化の導入と推論計算の削減により、ニューラル常微分方程式（NODE）を小型デバイス用KWSに適応させること。
• 高い精度を維持しながらモデルサイズを最小限に抑えた、軽量で効率的なディープラーニングアーキテクチャを設計すること。
• 時間的畳み込みおよび時間遅延ニューラルネットワークのコンponentsをNODEフレームワークに統合し、KWSにおける逐次モデリングの性能を向上させること。

提案手法

• 音声シーケンス内の局所的時間的パターンを捉えるために、時間的畳み込み層を組み込んだ変更されたNODEアーキテクチャを導入する。
• パラメータ共有を活用して長距離依存関係を効率的にモデル化するため、時間遅延ニューラルネットワーク（TDNN）層を採用する。
• NODEブロック間におけるバッチ正則化の適用により、トレーニングの安定化と収束の改善を実現する。
• アーキテクチャ的およびトレーニング時の修正を施し、NODE関数の評価回数を削減することで推論計算を最適化する。
• 勾配の流れとトレーニングの安定性を向上させるために、NODEブロック内に残差接続構造を採用する。
• NODEの連続的深さモデリングと畳み込みおよびTDNN層のインダクティブバイアスを組み合わせることで、より優れたシーケンス表現を得る。

実験結果

リサーチクエスチョン

• RQ1 最小限のパラメータ数で、ニューラルODEが小型デバイス用キーワードスプライティングに効果的に適応可能か？
• RQ2 バッチ正則化をニューラルODEフレームワークに成功裏に統合する方法は何か？
• RQ3 時間的畳み込みと時間遅延ネットワークの組み合わせが、KWSにおけるモデルの効率性と精度に与える影響は何か？
• RQ4 パフォーマンスを損なわせることなく、NODEベースのKWSモデルにおける推論計算をどの程度まで削減できるか？

主な発見

• 提案モデルは、従来のKWSモデルと比較してモデルパラメータ数を68%削減し、エッジデバイスへのデプロイビリティを顕著に向上させた。
• NODEフレームワークにバッチ正則化を統合することで、トレーニングの安定化とモデルの収束性・精度の向上が達成された。
• 時間的畳み込みとTDNN層の組み合わせにより、音声入力における局所的および長距離の時間的特徴を捉える能力が向上した。
• アーキテクチャの最適化により推論計算が削減され、リアルタイムデプロイに向けたモデルの効率性が向上した。