[論文レビュー] Streaming ResLSTM with Causal Mean Aggregation for Device-Directed Utterance Detection

Xiaosu Tong, Che-Wei Huang+6 more|arXiv (Cornell University)|Jul 17, 2020

Speech and Audio Processing参考文献 15被引用数 4

ひとこと要約

本稿では、リアルタイムのデバイス指向音声検出のためのストリーミング型ResLSTMモデルを提案し、因果的平均アグリゲーションを用いることで、オンライン推論中に早期かつ正確な予測を可能にする。この手法は、先行モデルと比較して等誤差率（EER）を41%相対的に低減し、特に終端時刻が変動するか不明な早期意思決定シナリオにおいて、アテンションベースの手法を上回る性能を発揮する。

ABSTRACT

In this paper, we propose a streaming model to distinguish voice queries intended for a smart-home device from background speech. The proposed model consists of multiple CNN layers with residual connections, followed by a stacked LSTM architecture. The streaming capability is achieved by using unidirectional LSTM layers and a causal mean aggregation layer to form the final utterance-level prediction up to the current frame. In order to avoid redundant computation during online streaming inference, we use a caching mechanism for every convolution operation. Experimental results on a device-directed vs. non device-directed task show that the proposed model yields an equal error rate reduction of 41% compared to our previous best model on this task. Furthermore, we show that the proposed model is able to accurately predict earlier in time compared to the attention-based models.

研究の動機と目的

• リアルタイムで動作するストリーミング型オンライン推論が可能なモデルを開発し、デバイス指向（DD）と非デバイス指向（ND）の音声を区別すること。
• 終端時刻が変動するか不明な状況下でも、ストリーミング環境における早期予測の正確性を向上させること。
• 畳み込み層のキャッシュを用いることで、冗長な計算を回避し、オンライン推論における計算負荷を低減すること。
• ストリーミング環境下でフレームレベルの埋め込み表現から発話レベルの予測に変換するためのアグリゲーション手法を評価・比較すること。
• 早期意思決定が求められる状況において、因果的平均アグリゲーションがアテンション機構を上回ることを示し、発話終端時の性能を損なわないこと。

提案手法

• 6つの残差ブロックを備えた深層ResLSTMアーキテクチャを採用し、バッチ正規化と単方向LSTMを用いて階層的な音響特徴を抽出する。
• フレームレベルのLSTM出力（$h_t$）に対して因果的平均アグリゲーションを適用し、ストリーミング可能で時系列順の発話レベル予測を生成する。
• すべての畳み込み演算に対してキャッシュ機構を導入し、オンライン推論中に冗長な計算を排除する。
• トレーニング時に繰り返し発話レベルラベルを用いたフレーム単位の誤差逆伝播を適用し、ストリーミング学習を可能にする。
• アテンション、グローバル平均、RNNベースのアグリゲーション手法と比較し、$h_t$および$y_t$（予測スコア）の両方で性能を評価する。
• 将来のフレームをマスクする因果的アテンションの変種を実装したが、リアルタイム用途では計算コストが高いため実用的でないことが判明した。

実験結果

リサーチクエスチョン

• RQ1 因果的平均アグリゲーションを用いたストリーミング型ResLSTMモデルは、デバイス指向音声検出において、アテンションベースのモデルよりも優れた早期予測性能を達成できるか？
• RQ2 発話終端時においてもアテンションと同等の性能を維持しながら、早期意思決定を可能にするか？
• RQ3 EERという指標において、ResLSTMアーキテクチャは他のアーキテクチャ（例：ResNet、CLDNN、LSTM）と比較して、デバイス指向音声検出において優れているか？
• RQ4 オンラインストリーミング環境下で、アテンションベースのアグリゲーションと因果的平均アグリゲーションの計算コストはどの程度異なるか？
• RQ5 畳み込み層のキャッシュは、モデルの精度を損なわせることなく、ストリーミング推論における冗長計算を効果的に低減できるか？

主な発見

• 提案されたResLSTMモデルに因果的平均アグリゲーションを適用した結果、デバイス指向対非デバイス指向音声検出タスクにおいて、前回最良のモデルと比較して等誤差率（EER）を41%相対的に低減した。
• 因果的平均アグリゲーションは、発話終端時においてアテンションベースのアグリゲーションと同等の性能を達成し、ベースラインと比較して相対的EER改善率0.6%を示した。
• 早期の時点（例：発話開始後1〜2秒）において、因果的平均アグリゲーションはアテンション手法と比較してEERを24.7%低減し、優れた早期意思決定能力を示した。
• 発話の中間点（$0.5L$）での評価において、因果的平均アグリゲーションは$y_t$のEERを16.0%改善し、発話終端時刻の変動に強いという特徴を示した。
• ReLU活性化関数を用いたRNNベースのアグリゲーション手法は、勾配消失の影響でベースラインと比較してEERが2.4%悪化したが、tanh活性化関数を用いたバージョンはわずか0.6%の改善にとどまった。
• 因果的平均アグリゲーションは、特にアテンションを毎フレーム再計算が必要となるストリーミング環境下で、アテンションベースの手法に比べてはるかに計算効率が優れている。