[論文レビュー] UniDS: A Unified Dialogue System for Chit-Chat and Task-oriented Dialogues

Xinyan Zhao, Bin He+7 more|arXiv (Cornell University)|Oct 15, 2021

Topic Modeling被引用数 5

ひとこと要約

UniDSは、事前学習された会話モデル（DialoGPT）を用いて、共有データスキーマと混合会話データのファインチューニングにより、会話的会話とタスク指向会話の両方を統合的に処理するエンドツーエンドの統一型会話システムを提案する。性能は最先端の会話的会話システムと同等であり、最先端のタスク指向会話システムを上回り、パrameterの追加なしに会話タイプ間の滑らかな切り替えと優れた耐性を示す。

ABSTRACT

With the advances in deep learning, tremendous progress has been made with chit-chat dialogue systems and task-oriented dialogue systems. However, these two systems are often tackled separately in current methods. To achieve more natural interaction with humans, a dialogue agent needs to be capable of both chatting and accomplishing tasks. To this end, we propose a unified dialogue system (UniDS) with the two aforementioned skills. In particular, we design a unified dialogue data schema, compatible for both chit-chat and task-oriented dialogues, and we train UniDS with mixed dialogue data from a pretrained chit-chat dialogue model. Without adding extra parameters to SOTA baselines, UniDS can alternatively handle chit-chat and task-oriented dialogues in a unified framework. Experimental results demonstrate that the proposed UniDS works comparably well as the pure chit-chat system, and it outperforms state-of-the-art task-oriented dialogue systems. More importantly, UniDS achieves better robustness as it is able to smoothly switch between two types of dialogues. These results demonstrate the feasibility and potential of building an one-for-all dialogue system.

研究の動機と目的

• ユーザーが1回の会話で両方の会話タイプを必要とすることが多いにもかかわらず、従来の会話システムが会話的会話とタスク指向会話の問題を別個に扱っているというギャップを埋める。
• 会話的会話とタスク指向会話の両方のコンponents（信念状態、データベース結果、システムアクション）を1つのフレームワーク内で扱える統一されたデータスキーマを設計する。
• 追加のパラメータを追加せずに、混合会話データ上で統一モデルを訓練し、両方の会話タイプのエンドツーエンド統合学習を可能にする。
• 特にASR干渉のある現実世界の設定において、ノイズやタスクに関係のない発話に対して耐性を高める。
• 会話中に会話的会話とタスク指向会話モードの間を滑らかに切り替えられる能力を評価する。

提案手法

• 会話的会話の発話を、タスク指向会話で一般的に使われる構造化コンponents（信念状態、データベース結果、システムアクション）を含むように変換する統一された会話データスキーマを設計する。
• 統一スキーマを用いて、混合会話データ（会話的会話とタスク指向会話）上で事前学習済みの会話モデル（DialoGPT）をファインチューニングする。
• タスク完了に不可欠なが「エンティティ推薦」システムアクションの優先度を高めるために、重み付き交差エントロピー損失を導入する。これは混合学習において過小評価されがちな要因である。
• 両方の会話タイプに同じモデルアーキテクチャを適用することで、アーキテクチャの変更なしにゼロショットでの会話モード切り替えを可能にする。
• 自動評価指標（例：統合スコア）と人間評価を用いて、MultiWOZ（TOD）およびRedditベースの会話的会話データセットで性能を評価する。
• タスク指向会話にタスクに関係のない（会話的）発話を挿入することで耐性テストを実施し、ASRノイズを模擬し、モデルの耐性を評価する。

実験結果

リサーチクエスチョン

• RQ1 統一されたデータスキーマを用いて、1つの会話モデルが会話的会話とタスク指向会話の両方を効果的に処理できるか？
• RQ2 混合会話データ上で統合学習を実施することで、会話的会話またはタスク指向会話のベンチマーク性能が低下するか？
• RQ3 特にASR出力の背景ノイズのようなタスクに関係のない発話を含む状況において、統一モデルが耐性を保てるか？
• RQ4 会話中に会話的会話とタスク指向会話モードの間をどれほど滑らかに切り替えられるか？
• RQ5 エンティティ推薦のための重み付き損失は、統合環境下でのタスク完了率を向上させるか？

主な発見

• UniDSは24層のDialoGPTを用いてMultiWOZデータセットで統合スコア104.12を達成し、最先端のタスク指向モデルUBAR（99.31）を上回り、純粋な会話的会話モデルと同等の性能を示した。
• 1ターン分のタスクに関係のない会話的発話を挿入した場合、UniDSは統合スコアが3.41ポイント低下するが、UBAR-DialoGPTは6.23ポイント低下するため、より優れた耐性を示した。
• 2ターン分の無関係な発話を挿入した場合、UniDSは8.44ポイント低下するが、UBAR-DialoGPTは10.64ポイント低下し、ノイズに対する耐性の優位性がさらに確認された。
• スイッチングケースの98％で、UniDSは最初の2ターン以内に会話的会話とタスク指向会話モードを正常に切り替え、優れたスイッチング能力を示した。
• ケーススタディでは、UBAR-DialoGPTがランダムな予約を実行してしまうのに対し、UniDSは遮断中も信念状態を維持し、タスク実行を正しく再開した。
• 重み付き交差エントロピー損失により、統合環境下でエンティティ推薦の能力が著しく向上し、タスク成功に不可欠な要因が強化された。