[論文レビュー] Generative Encoder-Decoder Models for Task-Oriented Spoken Dialog Systems with Chatting Capability

Tiancheng Zhao, Allen Lu+2 more|arXiv (Cornell University)|Jun 26, 2017

Speech and dialogue systems参考文献 38被引用数 13

ひとこと要約

本稿では、エンティティインデキシングを用いてスロット値に依存しない意思決定と動的知識ベース（KB）照会を可能にする、タスク指向型 spoken dialog システム向けの新規生成型エンコーダデコーダフレームワークを提案する。タスク指向型対話データと人間同士のチャットデータを混合して学習させることで、ドメイン外リクエストに対するロバスト性が向上し、人間ユーザーとの対話で77.0%のタスク成功率を達成した。ベースラインモデルに比べ、自然さとKB精度の両面で優れた性能を示した。

ABSTRACT

Generative encoder-decoder models offer great promise in developing domain-general dialog systems. However, they have mainly been applied to open-domain conversations. This paper presents a practical and novel framework for building task-oriented dialog systems based on encoder-decoder models. This framework enables encoder-decoder models to accomplish slot-value independent decision-making and interact with external databases. Moreover, this paper shows the flexibility of the proposed method by interleaving chatting capability with a slot-filling system for better out-of-domain recovery. The models were trained on both real-user data from a bus information system and human-human chat data. Results show that the proposed framework achieves good performance in both offline evaluation metrics and in task success rate with human users.

研究の動機と目的

• 固定された対話行動やドメイン固有のスロット値マッピングに依存しないドメイン汎用のタスク指向型対話システムの開発。
• タスク指向型対話のsequence-to-sequenceモデルにおいて、未知語彙（OOV）エンティティと動的知識ベース（KB）照会を扱う方法の提案。
• スロット埋め込みシステムにチャット機能を統合することで、ドメイン外（OOD）リクエストに対するシステムのロバスト性を向上させること。
• 自動評価指標と実際の人間ユーザーとの対話による評価を用いて、モデルの性能を評価すること。

提案手法

• モデルは、対話履歴に基づいてシステム応答を生成するため、アテンション機構を備えたsequence-to-sequenceエンコーダデコーダアーキテクチャを採用している。
• OOVエンティティ（例：新しい場所）をインデックス化された表現にマッピングするためのエンティティインデキシングを導入し、訓練データに事前に登場しなくてもKB照会が可能になる。
• インデックス化されたエンティティを用いて外部知識ベースを動的に照会し、バス時刻などのリアルタイム情報の取得を実現している。
• 訓練段階で、タスク指向型対話データとチャットデータを混合させることで、一般化性能とOOD回復性が向上する。
• ハイブリッド名前付きエンティティ認識（CRF + ルール）を用いて、キーデータ（場所、時刻など）を抽出し、エンティティインデキシングとKB連携に活用している。
• 劣化した手動で作成された対話ポリシーからの模倣学習を用いてモデルをファインチューニングしており、将来的には強化学習による改善が可能である。

実験結果

リサーチクエスチョン

• RQ1 生成型エンコーダデコーダモデルは、タスク指向型対話システムにおいて、未知語彙（OOV）エンティティを効果的に処理できるか？
• RQ2 エンドツーエンドのsequence-to-sequenceモデルは、外部知識ベースと連携してリアルタイム情報取得を可能にするようにどのように改造できるか？
• RQ3 タスク指向型対話データとチャットデータを混合して学習させることで、ドメイン外リクエストに対するモデルのロバスト性が向上するか？
• RQ4 統合型の生成モデルは、自動評価指標と人間による評価の両面で競争力のある性能を達成できるか？

主な発見

• EI+Attn+Chatモデルは、人間ユーザーとの対話で77.0%のタスク成功率を達成し、EI+Attnベースラインの73.3%をわずかに上回った。
• EI+Attn+Chatモデルは、KB精度が93.7%と大幅に向上し、EI+Attnの88.6%を上回った。これは、知識ベース照会の根拠付けの正確性が向上したことを示している。
• 主観的評価では、EI+Attn+Chatモデルが自然さ（5.0中3.53）でEI+Attn（5.0中3.46）を上回ったが、正しさはわずかに低かった。
• モデルは4.1%のシステムターンで無効な出力を生成しており、[LOCATION-2]のような存在しないエンティティを参照する例も見られた。これはデコーダの一般化能力の限界を示している。
• スロット精度が71.8%（EI+Attnの73.3%）に低下したものの、チャット応答を用いることで誤解を是正する能力が向上し、全体的なロバスト性が向上した。
• 失敗要因分析から、モデルはしばしば劣化した教師ポリシーの制限を模倣しており、特に複数のスロットを含む複合発話の処理において顕著であった。