[論文レビュー] Incremental Online Spoken Language Understanding.

Prashanth Gurunath Shivakumar, Naveen Kumar+2 more|arXiv (Cornell University)|Oct 23, 2019

Speech and dialogue systems参考文献 16被引用数 4

ひとこと要約

この論文では、リアルタイムでASRトランスクリプトを処理するRNNベースのインクリメンタルなスプoken言語理解（SLU）システムを提案する。このシステムは、精度を損なわずに遅延を低減する。文の区切りを特定するEOS検出器を導入し、意図の早期検出を可能にすることで、オフライン手法よりも遅延が低く抑えられつつ、ストリーミング環境下でのATISデータセットにおける意図分類性能を高い水準で維持する。

ABSTRACT

Spoken Language Understanding (SLU) typically comprises of an automatic speech recognition (ASR) followed by a natural language understanding (NLU) module. The two modules process signals in a blocking sequential fashion, i.e., the NLU often has to wait for the ASR to finish processing on an utterance basis, potentially leading to high latencies that render the spoken interaction less natural. In this paper, we propose recurrent neural network (RNN) based incremental processing towards the SLU task of intent detection. The proposed methodology offers lower latencies than a typical SLU system, without any significant reduction in system accuracy. We introduce and analyze different recurrent neural network architectures for incremental and online processing of the ASR transcripts and compare it to the existing offline systems. A lexical End-of-Sentence (EOS) detector is proposed for segmenting the stream of transcript into sentences for intent classification. Intent detection experiments are conducted on benchmark ATIS dataset modified to emulate a continuous incremental stream of words with no utterance demarcation. We also analyze the prospects of early intent detection, before EOS, with our proposed system.

研究の動機と目的

• ASRトランスクリプトのオンラインで段階的な処理を可能にすることで、スプoken言語理解における遅延を低減すること。
• 従来のSLUシステムが完全な発話受信を待ってからNLU処理を開始するブロッキング的な性質を是正すること。
• 連続した音声ストリームを文に分割するための語彙的End-of-Sentence（EOS）検出器を開発すること。
• 完全な文の受信前に意図の早期検出を可能にし、リアルタイム対話における応答性を向上させること。
• ストリーミング環境下でのATISベンチマークを用いて、インクリメンタルSLUにおける遅延と精度のトレードオフを評価すること。

提案手法

• RNNを用いてASRトランスクリプトを段階的に処理し、入力される単語の流れに応じてリアルタイムで意図を検出可能にする。
• 連続した音声ストリームにおける文の境界を特定する語彙的End-of-Sentence（EOS）検出器を導入し、適切なタイミングでの意図分類を可能にする。
• 現実的なインクリメンタル処理評価を可能にするために、ATISデータセットを変更し、発話ごとの区切りのない単語ストリームに再構成する。
• インクリメンタル処理用にRNNアーキテクチャを訓練・評価し、遅延と精度の観点から標準的なオフラインシステムと比較する。
• 部分的な入力シーケンスに基づいて、EOS信号が発出される前に意図を分類する早期意図検出を実装する。
• 十分な文脈が得られ次第、意図を即座に予測するストリーミング推論パイプラインを構築し、遅延を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 インクリメンタルなRNNベースの処理により、意図検出精度を損なわずにスプoken言語理解における遅延を低減できるか？
• RQ2 語彙的EOS検出器は、リアルタイムでの意図分類を目的とした連続音声ストリームの文分割において、どの程度有効か？
• RQ3 完全な文の受信前に、どの程度のレベルで早期意図検出が達成可能かで、許容可能な精度を維持できるか？
• RQ4 異なるRNNアーキテクチャは、標準的なオフラインモデルと比較して、インクリメンタル処理環境下でどの程度の性能を示すか？
• RQ5 インクリメンタルSLUシステムにおいて、遅延低減と精度のトレードオフはどのようなものか？

主な発見

• 提案されたインクリメンタルRNNシステムは、従来のオフラインSLUシステムよりも顕著に遅延が低く抑えられつつ、同等の意図検出精度を維持する。
• 語彙的EOS検出器は、連続ストリームにおける文の境界を効果的に特定でき、適切なタイミングでの意図分類を可能にする。
• 早期意図検出は実現可能であり、システムは完全な文が受信される前でも信頼性の高い予測を出力できる。
• インクリメンタルRNNアプローチは、部分的な発話処理に対しても高い精度を維持しており、不完全な入力に対しても頑健であることが示された。
• 異なるRNNアーキテクチャはインクリメンタル設定下で異なる性能を示し、一部のアーキテクチャは他のものよりも優れた遅延-精度トレードオフを提供する。
• システムは標準的なオフラインベースラインよりも遅延で優れており、精度面では同等またはわずかに劣るが、リアルタイム応用において好都合なトレードオフを示している。