[論文レビュー] Domain State Tracking for a Simplified Dialogue System

Hyunmin Jeon, Gary Geunbae Lee|arXiv (Cornell University)|Mar 11, 2021

Topic Modeling参考文献 8被引用数 14

ひとこと要約

この論文では、全会話履歴を現在の発話、信念状態、ドメイン状態から構成される簡略化された入力文脈に置き換えることで、会話の流れを保持するDoTSというタスク指向対話システムを提案する。ドメイン状態を追跡することで、マルチWOZ 2.0および2.1において、従来モデルより成功確率で1.24ポイント向上、情報提供率で1.09ポイント向上する最先端の性能を達成した一方で、メモリ使用量と計算コストを著しく削減した。

ABSTRACT

Task-oriented dialogue systems aim to help users achieve their goals in specific domains. Recent neural dialogue systems use the entire dialogue history for abundant contextual information accumulated over multiple conversational turns. However, the dialogue history becomes increasingly longer as the number of turns increases, thereby increasing memory usage and computational costs. In this paper, we present DoTS (Domain State Tracking for a Simplified Dialogue System), a task-oriented dialogue system that uses a simplified input context instead of the entire dialogue history. However, neglecting the dialogue history can result in a loss of contextual information from previous conversational turns. To address this issue, DoTS tracks the domain state in addition to the belief state and uses it for the input context. Using this simplified input, DoTS improves the inform rate and success rate by 1.09 points and 1.24 points, respectively, compared to the previous state-of-the-art model on MultiWOZ, which is a well-known benchmark.

研究の動機と目的

• 全会話履歴を用いるニューラル対話システムが生じる高いメモリおよび計算コストを軽減すること。
• 長大な会話履歴を保存せずに、マルチドメイン対話における文脈的整合性を維持すること。
• ドメイン状態の追跡を通じて、タスク指向対話システムの効率性とスケーラビリティを向上させること。
• 全会話履歴に依存せずに、ベンチマークデータセットで最先端の性能を達成すること。
• エンドツーエンドモデルが広範な文脈を必要とする代替手段としての有効性を検討すること。

提案手法

• DoTSは、信念追跡、アクション生成、応答生成の各タスクに共通するBERTベースの文脈エンコーダーを用いる。
• 信念追跡の入力文脈は $ C^{B}_{t} = U_{t} \oplus D_{t-1} \oplus B_{t-1} $ として構築され、現在の発話、直前のドメイン状態、および信念状態を組み合わせる。
• ドメイン状態トラッカーは、文脈出力 $ O^{B}_{t} $ を用いて現在のドメインを分類し、ドメイン間での会話の流れを追跡可能にする。
• 信念トラッカーは $ O^{B}_{t} $ をもとに信念状態 $ B_{t} $ を更新し、ユーザーの制約を表現する。
• アクション生成のための入力文脈 $ C^{A}_{t} = U_{t} \oplus D_{t} \oplus B_{t} \oplus DB_{t} $ には、現在のドメイン、更新済みの信念状態、およびデータベースの結果が含まれる。
• システムは共有の文脈エンコーダーを用い、交差エントロピー損失と早期停止を用いたエンドツーエンド学習を実施する。

実験結果

リサーチクエスチョン

• RQ1 全会話履歴の代わりに簡略化された入力文脈を使用することで、タスク指向対話システムが高い性能を維持できるか。
• RQ2 マルチドメイン対話において、ドメイン状態の追跡が文脈情報を効果的に保持できるか。
• RQ3 会話履歴を削除することで、性能を損なわず、メモリおよび計算コストをどの程度削減できるか。
• RQ4 全会話履歴を用いるモデルと比較して、ドメイン状態と信念状態から構成される簡略化された文脈が、標準ベンチマークで優れた性能を発揮できるか。
• RQ5 会話の長さが延びるに従って、本手法のメモリ使用量と推論効率はどの程度スケーリングするか。

主な発見

• マルチWOZ 2.0において、DoTSは従来の最先端モデルと比較して、成功確率で1.24ポイント向上、情報提供率で1.09ポイント向上した。
• マルチWOZ 2.1では、成功確率が3.68ポイント向上、情報提供率が1.65ポイント向上し、修正済みベンチマークにおける優れた一般化性能を示した。
• DoTSにおける入力文脈の長さは、会話の長さに関係なくほぼ一定であるのに対し、全会話履歴はターン数に比例して線形に増加する。
• DoTSのメモリ使用量は会話の長さに関わらず安定しているが、BERT や GPT-2 のようなモデルは、入力が長くなるに従い、計算消費量が増加する。
• 最小限の計算オーバーヘッドで高い性能を維持しており、ドメイン状態の追跡が本質的な文脈を効果的に保持できることを裏付けた。
• アブレーション実験から、ドメイン固有の意味（例：レストランとホテルにおける「cheap」の意味の違い）を区別する上で、ドメイン状態の追跡が不可欠であることが明らかになった。