[論文レビュー] A neural attention model for speech command recognition

Douglas Coimbra de Andrade, S. Leo+2 more|arXiv (Cornell University)|Aug 27, 2018

Speech Recognition and Synthesis参考文献 19被引用数 128

ひとこと要約

本論文は、注意機構を備えた畳み込み双方向LSTMモデルを用いた音声コマンド認識を提案し、Google Speech Commands V1およびV2で最先端の精度を実現。コンパクトな202Kパラメータで、解釈性を高めるための注意の可視化を提供。

ABSTRACT

This paper introduces a convolutional recurrent network with attention for speech command recognition. Attention models are powerful tools to improve performance on natural language, image captioning and speech tasks. The proposed model establishes a new state-of-the-art accuracy of 94.1% on Google Speech Commands dataset V1 and 94.5% on V2 (for the 20-commands recognition task), while still keeping a small footprint of only 202K trainable parameters. Results are compared with previous convolutional implementations on 5 different tasks (20 commands recognition (V1 and V2), 12 commands recognition (V1), 35 word recognition (V1) and left-right (V1)). We show detailed performance results and demonstrate that the proposed attention mechanism not only improves performance but also allows inspecting what regions of the audio were taken into consideration by the network when outputting a given category.

研究の動機と目的

• インターネット接続が安定しないデバイス向けに、軽量でローカル実行可能な音声コマンド認識を動機づける。
• KWSタスクの精度向上のための新しい注意ベースの再帰型アーキテクチャを提案する。
• 複数タスクにわたりGoogle Speech Commandsデータセット V1とV2で最先端の結果を示す。
• モデルの決定を解釈可能にするための注意ウェイトの可視化を提供する。
• 再現性と研究の進展を促すためにソースコードを公開する。

提案手法

• 入力は生のWAVファイルをNumPy配列に変換し、訓練不可の Kapre レイヤを介して80帯域メル尺度スペクトログラムに処理される。
• 時間次元の畳み込み段階がメルスペクトログラムから局所的な時間的特徴を抽出する。
• 2段に積み重ねられた双方向LSTM層が前方・後方の時間的依存性を捉える。
• 注意ベースのクエリ機構は中間のLSTM出力ベクトルをクエリとして用い、LSTM出力の加重平均を計算する。
• 加重コンテキストはReLU活性化を持つ3つの全結合層を通過し、その後ソフトマックス分類層へ。
• 訓練には開始学習率0.001と減衰を伴うAdamを用い、検証性能に基づく早期停止、バッチサイズ64を用いる。

実験結果

リサーチクエスチョン

• RQ1 注意ベースのRNNは、従来の軽量モデルと比べて小語彙の音声コマンド認識の精度を改善できるか？
• RQ2 注意機構は、各コマンドにとってどの時間的領域が最も情報量が多いかについて解釈可能な洞察を提供するか？
• RQ3 コンパクトなモデルで、Google Speech Commands データセット V1とV2における複数タスク（20コマンド、12コマンド、35語、左-右）での性能向上はどの程度か？
• RQ4 提案モデルは、パラメータ数と精度の点で従来のアーキテクチャとどのように比較されるか？
• RQ5 リソース制約のあるデバイス上でローカルに実行しつつ高い精度を維持できるか？

主な発見

• 注意RNNはGoogle Speech Commandsタスクで最先端の精度を達成: 20コマンド（V1）94.1%、（V2）94.5%；35語（V1）94.3%、（V2）93.9%；左右（V1）99.2%、（V2）99.4%。
• モデルサイズは202Kのトレーニング可能パラメータでコンパクト。
• 12コマンドタスクで、注意RNNは同じパラメータ予算で95.6%（V1）と96.9%（V2）を達成。
• 注意の可視化は母音の遷移や関連する音声領域を強調することで直感と一致し、モデルの説明可能性を実現。
• 従来モデルと比較して、注意RNNは小規模なフットプリントを維持しつつ大幅な精度向上を提供。
• 混同行列は困難な組み合わせ（例: “three”対“tree”、“no”対“down”）を示し、文脈情報が分離を改善することを示唆する。