[論文レビュー] Temporal Feedback Convolutional Recurrent Neural Networks for Keyword Spotting.

Tae‐Jun Kim, Juhan Nam|arXiv (Cornell University)|Oct 30, 2019

Music and Audio Processing参考文献 16被引用数 8

ひとこと要約

本論文では、キーワード検出のための時系列フィードバック畳み込み再帰ニューラルネットワーク（TF-CRNN）を提案する。ここで、RNNの直前の時刻の隠れ状態が、フィードバック接続を通じてCNNブロックにおけるチャネルごとの特徴活性化を調整し、脳の聴覚フィードバック機構を模倣する。このモデルは、複数の入力／出力設定において、標準的なCRNNと比較して一貫した性能向上を達成する。

ABSTRACT

While end-to-end learning has become a trend in deep learning, the model architecture is often designed to incorporate domain knowledge. We propose a novel convolutional recurrent neural network (CRNN) architecture with temporal feedback connections, inspired by the feedback pathways from the brain to ears in the human auditory system. The proposed architecture uses a hidden state of the RNN module at the previous time to control the sensitivity of channel-wise feature activations in the CNN blocks at the current time, which is analogous to the mechanism of the outer hair-cell. We apply the proposed model to keyword spotting where the speech commands have sequential nature. We show the proposed model consistently outperforms the compared model without temporal feedback for different input/output settings in the CRNN framework. We also investigate the details of the performance improvement by conducting a failure analysis of the keyword spotting task and a visualization of the channel-wise feature scaling in each CNN block.

研究の動機と目的

• 深層学習アーキテクチャに生物学的にインspiredされたフィードバック機構を組み込むことで、音声コマンドにおけるキーワード検出の性能を向上させること。
• 順序処理中の動的で文脈に依存する特徴表現を捉える能力に欠ける標準的なCRNNの限界を解消すること。
• RNNからの時系列的フィードバックが、エンドツーエンドのキーワード検出におけるCNN特徴学習をどのように向上させるかを調査すること。
• 故障解析と特徴可視化を通じて、フィードバック接続の寄与を分析すること。

提案手法

• モデルは、時系列的フィードバック接続を統合しており、時刻tにおけるCNNブロックのチャネルごとの活性化が、時刻t−1のRNN隠れ状態によって制御される。
• フィードバック機構は、人間の聴覚系における外髄細胞のフィードバックにインspiredされており、特定の周波数帯域への感度を調整する。
• フィードバックは、直前のRNN隠れ状態に条件づけられた、各CNNブロックのチャネルごとの活性化に適用される学習可能なスケーリング要因として実装される。
• アーキテクチャは、時刻間でパラメータを共有するエンドツーエンド微分可能なCRNNフレームワークを維持する。
• モデルは、キーワード検出のための標準的な交差エントロピー損失と標準的な最適化手法を用いて訓練される。
• モデルの性能は、耐性と汎化性を評価するために、複数の入力／出力構成で評価される。

実験結果

リサーチクエスチョン

• RQ1 時系列的フィードバック接続を組み込むことで、CRNNにおけるキーワード検出精度にどのような影響を与えるか？
• RQ2 フィードバック機構は、CNNブロックにおける特徴表現学習をどの程度向上させるか？
• RQ3 フィードバック機構は、曖昧またはノイジーなキーワードインスタンスの処理にどのように寄与するか？
• RQ4 フィードバックは、さまざまな入力および出力構成においてモデルの耐性をどのように向上させるか？

主な発見

• 提案されたTF-CRNNは、キーワード検出において、テストされたすべての入力および出力構成で、標準的なCRNNを一貫して上回る性能を達成する。
• フィードバック機構により、より判別力のあるチャネルごとの特徴活性化が得られ、関連する音声パターンへのモデルの感度が向上する。
• 故障解析の結果、ノイジーまたは曖昧な文脈におけるキーワードの誤分類が、モデルで減少することが明らかになった。
• 可視化により、フィードバックが動的に特徴スケーリングを調整しており、直前のRNNコンテキストに基づいて、重要な周波数帯域に高い感度が適用されていることが確認された。