[論文レビュー] A Network-based End-to-End Trainable Task-oriented Dialogue System

Tsung-Hsien Wen, David Vandyke+6 more|arXiv (Cornell University)|Apr 15, 2016

Topic Modeling参考文献 32被引用数 170

ひとこと要約

この論文は、明示的な信念トラッカーとデータベースインターフェースを備えた、端末的なニューラルエンドツーエンドのタスク指向対話システムと、パイプライン化されたWizard-of-Ozデータ収集手法を提示し、レストラン領域で競争力のある指標を用いてタスク完了を達成します。

ABSTRACT

Teaching machines to accomplish tasks by conversing naturally with humans is challenging. Currently, developing task-oriented dialogue systems requires creating multiple components and typically this involves either a large amount of handcrafting, or acquiring costly labelled datasets to solve a statistical learning problem for each component. In this work we introduce a neural network-based text-in, text-out end-to-end trainable goal-oriented dialogue system along with a new way of collecting dialogue data based on a novel pipe-lined Wizard-of-Oz framework. This approach allows us to develop dialogue systems easily and without making too many assumptions about the task at hand. The results show that the model can converse with human subjects naturally whilst helping them to accomplish tasks in a restaurant search domain.

研究の動機と目的

• ドメイン固有のタスクを過度なハンドクラフトなしに処理できるエンドツーエンドのニューラルタスク指向対話モデルの必要性を動機づける。
• 意図エンコード、信念追跡、データベースオペレータ、ポリシーネットワーク、生成ネットワークを組み合わせたモジュール型でありつつエンドツーエンドで学習可能なアーキテクチャを提案する。
• 最低限のデータで域内対話データを安価かつ迅速に収集する新しいパイプライン化Wizard-of-Ozデータ収集フレームワークを導入する。
• 提案モデルが、 modest dataset でレストラン検索ドメインにおいて競争力のあるタスク成功率と自然さを達成できることを示す。

提案手法

• 対話を、対話履歴とDB検索結果を補足したシーケンス対シーケンス問題として扱う。
• ユーザー入力の分散表現を生成するため、意図ネットワーク（LSTMまたはCNNエンコーダ）を使用する。
• CNNベースの特徴抽出器を用いたスロット値信念トラッカーを用いて確率的なスロット値を維持する。
• 信念トラッカーの出力からDBを照会するデータベースオペレーターを組み込み、DB真理ベクトルを形成する。
• 意図、信念状態、DBマッチ情報を統合して応答生成のためのアクションベクトルを出力するポリシーネットワークを導入する。
• アクションベクトルを条件にしてスケルトンな応答を生成する生成ネットワークを使用し、DB値で語彙化し、デlexicalisedトークンを用いて表現する。
• 必要に応じて、生成中にトラッカーの信念を動的に重み付けするアテンションベースの拡張を採用する。

実験結果

リサーチクエスチョン

• RQ1 明示的な信念追跡とデータベースインターフェースを備えたエンドツーエンドの学習可能なニューラルアーキテクチャは、競争力のあるタスク指向対話性能を達成できるか。
• RQ2 デレクサル化と重み結合は、ニューラルエンドツーエンドモデルにおけるデータ要件を削減しつつタスク成功を保てるか。
• RQ3 クラウドソーシング型パイプラインWizard-of-Ozデータ収集フレームワークは、域内対話データの品質とコストにどのような影響を与えるか。
• RQ4 デコード戦略（平均尤度、重み付きデコード、アテンション）は、タスク成功と自然さをどのように向上させるか。
• RQ5 提案モデルは、手作りのモジュラー基準と比較して、タスク成功とユーザー体験の点でどうなるか。

主な発見

Encoder	Tracker	Decoder	Match (%)	Success (%)	T5-BLEU	T1-BLEU
Baseline	lstm - lstm -	-	-	-	0.1650	0.1718
Baseline	lstm turn recurrence	lstm -	-	-	0.1813	0.1861
Variant	lstm rnn-cnn, w/o req.	lstm	88.82	30.60	0.1769	0.1799
Variant	cnn rnn-cnn	lstm	88.82	58.52	0.2354	0.2429
Full model w/ different decoding strategy	lstm rnn-cnn	lstm	86.34	75.16	0.2184	0.2313
Full model w/ attention	lstm rnn-cnn	lstm	90.88	80.02	0.2286	0.2388
Full model w/ attention + weighted	lstm rnn-cnn	lstm	90.88	83.82	0.2304	0.2369

• エンドツーエンドモデルは、明示的な信念トラッカーとDBオペレータを備えて、レストラン領域で意味のあるタスク完了と自然な対話を達成する。
• CNNベースの信念トラッカーは長距離依存性に対してN-gramトラッカーよりも一般化が良く、精度と再現率が高い。
• アテンションベースの生成と重み付きデコードはタスク成功を大幅に改善し、アテンションは最大のゲイン（約5ポイント）を提供する。
• コーパスベースの評価は、アテンションと重み付けを組み合わせた完全なモデルが、ベースラインより高いタスク成功率とBLEUスコアを達成する。
• 人間評価では主観的成功度が高く（約98%）、完全なモデルは高い理解度と自然さの評価を得ている（4/5超）。
• 手作りのモジュラーシステムと比較して、ニューラルアプローチはより高いユーザーエンゲージメントと同等のタスク成功を提供する。