[論文レビュー] Joint Online Spoken Language Understanding and Language Modeling with Recurrent Neural Networks

Bing Liu, Ian Lane|arXiv (Cornell University)|Sep 6, 2016

Speech and dialogue systems参考文献 17被引用数 22

ひとこと要約

本稿では、音声認識の途中で逐次的に単語が到着するにつれて意図予測とスロット埋め込みをリアルタイムで更新する、条件付きRNNモデルを提案する。このモデルは、再帰的な意図およびスロットラベルの文脈を活用し、独立学習と比較して言語モデルのパープレキシティを11.8%低減し、意図検出誤差を22.3%相対的に低減する。また、ノイズの多いASR環境でも高いロバスト性を示す。

ABSTRACT

Speaker intent detection and semantic slot filling are two critical tasks in spoken language understanding (SLU) for dialogue systems. In this paper, we describe a recurrent neural network (RNN) model that jointly performs intent detection, slot filling, and language modeling. The neural network model keeps updating the intent estimation as word in the transcribed utterance arrives and uses it as contextual features in the joint model. Evaluation of the language model and online SLU model is made on the ATIS benchmarking data set. On language modeling task, our joint model achieves 11.8% relative reduction on perplexity comparing to the independent training language model. On SLU tasks, our joint model outperforms the independent task training model by 22.3% on intent detection error rate, with slight degradation on slot filling F1 score. The joint model also shows advantageous performance in the realistic ASR settings with noisy speech input.

研究の動機と目的

• 既存の統合SLUモデルが全発話入力を必要としているという制限を解決し、リアルタイムでオンライン応用に不適切である点を改善する。
• 1つのRNNフレームワーク内でSLUと言語モデルのコンポonentを同時に学習させることで、言語モデルと意図検出のパフォーマンスを向上させる。
• オンラインASRシステムにおける次単語予測の文脈特徴として、再帰的な意図およびスロットラベル状態の利用を検討する。
• 現実的なノイズの多い音声入力条件下でのモデルのロバスト性を評価し、実用的導入シナリオを模擬する。

提案手法

• 条件付きRNNアーキテクチャを設計し、入力単語列を逐次的に処理し、各単語の到着に応じて意図およびスロット予測をリアルタイムで更新する。
• 意図およびスロットラベル情報をエンコードする再帰的隠れ状態をモデルに組み込み、次単語予測の文脈ベクトルとして使用する。
• 意図ベクトルの寄与を段階的にスケーリングするメカニズムを導入し、時間の経過とともにその影響を高めることで、言語モデル性能を向上させる。
• 局所的および再帰的文脈特徴を統合する：局所的な意図およびスロットラベルはRNN隠れ状態に連結され、再帰的状態は長期依存性を捉える。
• 言語モデルとSLUの両目的を同時に最適化するエンドツーエンドの学習により、タスク間で共有パラメータを持つ統合モデルを構築する。
• ATISベンチマークを用いて評価し、文脈タイプおよび学習スケジュールのアブレーションスタディを実施して各要因の寄与を特定する。

実験結果

リサーチクエスチョン

• RQ1 独立学習による分離モデルと比較して、統合RNNモデルがより優れた言語モデルと意図検出性能を達成できるか？
• RQ2 再帰的な意図およびスロットラベル状態を組み込むことで、オンラインSLUおよび言語モデルがどのように向上するか？
• RQ3 文脈ベクトルへの意図ベクトル寄与のスケジューリングが、言語モデルのパープレキシティに与える影響は何か？
• RQ4 現実的なノイズの多い音声入力条件下、特にASR再スコアリングパイプラインにおいて、統合モデルはどのように性能を示すか？

主な発見

• 統合モデルは、ATISテストセットにおいて独立学習言語モデルと比較して、言語モデルのパープレキシティを11.8%相対的に低減した。
• 統合モデルは、独立学習モデルと比較して意図検出誤差を22.3%相対的に低減し、オンライン意図分類において顕著な向上を示した。
• 再帰的スロットラベル文脈を組み込むことで、スロット埋め込みのF1スコアが向上し、意図分類誤差は16.8%相対的に低減した。これは、ラベル依存性をモデル化する利点を示している。
• 再帰的意図およびスロットラベル文脈の両方を有するモデルが最も優れた全体的パフォーマンスを達成し、言語モデルと意図検出の両方で利点を維持しながら、スロットF1はわずかに低下した。
• ノイズの多いASR環境下でも、統合学習RNN言語モデルの再スコアリングは5-gram言語モデルおよび独立学習RNN言語モデルの再スコアリングを上回り、WERを12.59%に低下させ、意図誤差を4.44%にまで低減した。
• 現実的なASR条件下でも一貫したパフォーマンス向上を示し、真値テキストではなくASR出力を使用した場合でも、意図誤差は2.87%増加、F1スコアは7.77%低下にとどまった。