[論文レビュー] A Sequence-to-Sequence Model for User Simulation in Spoken Dialogue Systems

Layla El Asri, Jing He+1 more|arXiv (Cornell University)|Jun 30, 2016

Speech and dialogue systems被引用数 5

ひとこと要約

本論文では、音声対話システムにおけるユーザーシミュレーションのためのシーケンス・ツー・シーケンス（Seq2Seq）モデルを提案する。ニューラルネットワークを活用して、自然で文脈に配慮したユーザーレスポンスを生成する。モデルはDSTC2の検証セットで平均Fスコア0.34、テストセットで0.27を達成し、バイグラムやアジェンダベースのモデルといったベースライン手法を上回った。

ABSTRACT

User simulation is essential for generating enough data to train a statistical spoken dialogue system. Previous models for user simulation suffer from several drawbacks, such as the inability to take dialogue history into account, the need of rigid structure to ensure coherent user behaviour, heavy dependence on a specific domain, the inability to output several user intentions during one dialogue turn, or the requirement of a summarized action space for tractability. This paper introduces a data-driven user simulator based on an encoder-decoder recurrent neural network. The model takes as input a sequence of dialogue contexts and outputs a sequence of dialogue acts corresponding to user intentions. The dialogue contexts include information about the machine acts and the status of the user goal. We show on the Dialogue State Tracking Challenge 2 (DSTC2) dataset that the sequence-to-sequence model outperforms an agenda-based simulator and an n-gram simulator, according to F-score. Furthermore, we show how this model can be used on the original action space and thereby models user behaviour with finer granularity.

研究の動機と目的

• 従来のルールベースやn-gramモデルに代わって、ニューラルなシーケンス・ツー・シーケンスアプローチを用いることで、音声対話システムにおけるユーザーシミュレーションを改善すること。
• 対話履歴とシステム行動をエンド・ツー・エンドでモデル化することで、より自然で文脈的に整合性のあるユーザーレスポンスを生成すること。
• 標準ベンチマーク上で、バイグラムやアジェンダベースのモデルといった確立されたベースライン手法と比較して、モデルの性能を評価すること。
• ニューラルなシーケンスモデリングが、タスク指向対話における複雑なユーザービヘイビアパターンを捉えるのにどの程度有効であるかを調査すること。

提案手法

• モデルは、システム発話と対話履歴を入力トークンとして、ユーザーレスポンスにマッピングするためのエンコーダ・デコーダアーキテクチャを採用し、アテンション機構を組み込む。
• エンコーダは、対話履歴とシステム行動の系列を入力として処理し、コンテキストベクトルを生成する。
• デコーダは、コンテキストベクトルと以前に生成されたトークンに条件づけられて、逐次的にユーザーレスポンスのトークンを生成する。
• モデルは、正解のユーザーレスポンスの尤度を最大化するように、交差エントロピー損失を用いてエンド・ツー・エンドで訓練する。
• 推論時には、応答品質を向上させるためにビームサーチのデコード戦略を適用する。
• モデルは、DSTC2およびDSTC3のベンチマークデータセット上で評価され、50回のランダム実行における平均Fスコアを用いて評価された。

実験結果

リサーチクエスチョン

• RQ1 シーケンス・ツー・シーケンスモデルは、タスク指向音声対話システムにおけるユーザービヘイビアを効果的にシミュレートできるか？
• RQ2 バイグラムやアジェンダベースのモデルといった従来のベースライン手法と比較して、Seq2Seqモデルの性能はどの程度か？
• RQ3 ニューラルアプローチは、未観測の対話ドメインやテストセットに対しても十分に一般化できるか？
• RQ4 アテンション機構は、ユーザーシミュレーションにおける応答の整合性と文脈の整合性をどの程度向上させるか？

主な発見

• シーケンス・ツー・シーケンスモデルは、DSTC2の検証セットで平均Fスコア0.34を達成し、バイグラム（0.20）およびアジェンダベース（0.24）モデルを上回った。
• DSTC2のテストセットでは、Seq2SeqモデルはFスコア0.27を達成し、バイグラム（0.09）およびアジェンダベース（0.18）のベースラインを上回った。
• DSTC3のテストセットでは、モデルはFスコア0.18を達成し、アジェンダベースモデル（0.13）を上回ったが、DSTC2での性能よりは低かった。
• 複数回の実行にわたり、ベースライン手法に対して一貫した改善が見られ、モデルの頑健性と一般化能力が示された。
• 結果から、ニューラルなシーケンスモデリングが、特に長距離依存関係や文脈の変化を捉えるのに有効であることが示唆された。
• 検証セットとテストセットの間の性能差は、特にDSTC3において、過学習やドメインシフトの可能性を示唆している。