[論文レビュー] Action-Based Conversations Dataset: A Corpus for Building More In-Depth Task-Oriented Dialogue Systems

Derek Chen, Howard Chen+3 more|arXiv (Cornell University)|Apr 1, 2021

Topic Modeling参考文献 36被引用数 6

ひとこと要約

本稿は、55種のユーザーポリシー制約付きの多段階的行動を要する55のユーザーアクション意図を含む、10,042件のヒューマン・ツー・ヒューマン対話から成る大規模で完全ラベル付きのコーパス、Action-Based Conversations Dataset (ABCD) を紹介する。本稿では、Action State Tracking および Cascading Dialogue Success の2つの新しいタスクを提案し、事前学習言語モデルを用いたベースラインを確立した。対話成功タスクにおいて、トップモデル（31.9%）と人間のパフォーマンス（82.7%）の間には50.8%の精度ギャップが存在することが示された。

ABSTRACT

Existing goal-oriented dialogue datasets focus mainly on identifying slots and values. However, customer support interactions in reality often involve agents following multi-step procedures derived from explicitly-defined company policies as well. To study customer service dialogue systems in more realistic settings, we introduce the Action-Based Conversations Dataset (ABCD), a fully-labeled dataset with over 10K human-to-human dialogues containing 55 distinct user intents requiring unique sequences of actions constrained by policies to achieve task success. We propose two additional dialog tasks, Action State Tracking and Cascading Dialogue Success, and establish a series of baselines involving large-scale, pre-trained language models on this dataset. Empirical results demonstrate that while more sophisticated networks outperform simpler models, a considerable gap (50.8% absolute accuracy) still exists to reach human-level performance on ABCD.

研究の動機と目的

• 実際のカスタマーサービスのワークフローを反映する、現実的でポリシー制約付きのタスク指向対話データセットが不足しているという問題に対処すること。
• ユーザーリクエストと組織ポリシーの両方をバランスさせる対話システムをモデル化し、順序付けられた手順的行動を必要とすること。
• 訓練済みエージェントと非訓練済みユーザーという非対称な役割間で自然な対話を収集するスケーラブルな方法を開発すること。
• Action State Tracking および Cascading Dialogue Success の2つの新しい評価タスクを提案・評価すること。
• 事前学習言語モデルを用いて強力なベースラインを確立し、行動履歴やガイドラインなどの重要な制約要因がパフォーマンスに与える影響を同定すること。

提案手法

• 訓練済みエージェントと非訓練済みユーザー間の本物のヒューマン・ツー・ヒューマン対話を収集するための Expert Live Chat システムを開発し、役割の非対称性を保証した。
• 55種の異なるユーザーポリシー意図、55種の固有の行動シーケンス、およびポリシー制約を定義する明確なエージェントガイドラインを含む10,042件の対話をラベル付けした。
• 対話履歴とガイドラインを入力として与えた際に正しい行動状態を推論する、Action State Tracking (AST) を提案し、従来の対話状態追跡を拡張した。
• Cascading Dialogue Success (CDS) を導入し、各ターンで履歴とポリシーに条件づけられた正しい行動または応答を選択する多ターンタスクとして定式化した。
• BERT、RoBERTa、AlBERT などの複数の事前学習言語モデルを AST および CDS で訓練・評価し、意図、ガイドライン、行動履歴などの入力コンponentsのアブレーションスタディを実施した。
• オラクルアブレーションを用いて、意図分類、ガイドライン知識、行動文脈の各要因がモデルパフォーマンスに与える影響を分離した。

実験結果

リサーチクエスチョン

• RQ1 企業ポリシーとユーザーリクエストに制約された状況下で、事前学習言語モデルは行動状態を効果的に追跡できるか？
• RQ2 エージェントガイドラインと対話履歴に条件づけることで、ポリシー制約付き対話システムのパフォーマンスにどのような影響があるか？
• RQ3 複雑で多段階的なタスク指向対話において、最先端モデルと人間レベルのパフォーマンスの間にはどの程度のギャップが存在するか？
• RQ4 意図、ガイドライン、行動履歴といった異なる入力コンponentsは、段階的対話タスクでの成功にどのように寄与するか？
• RQ5 不完全なポリシー知識を用いる場合の主な失敗モードは何か。また、それらはどのように緩和できるか？

主な発見

• 最高性能を示したモデル（RoBERTa-large）は、Cascading Dialogue Success タスクで31.9%の精度を達成したが、人間の評価（82.7%）とは著しく差があった。
• トップモデルと人間のパフォーマンスの間には50.8%の絶対的精度ギャップが存在し、さらなる改善の余地が広く残っていることが示された。
• 行動履歴をコンテキストから除外したことでパフォーマンスが著しく低下し、ポリシー制約付き対話における順序モデリングの重要性が確認された。
• 正解の意図情報を提供するとパフォーマンスは32.3%まで向上したが、不正確なガイドライン知識を追加するとパフォーマンスは30.6%に低下した。これは誤った行動マスクが原因であった。
• オラクル意図とガイドライン情報を両方使用した最適な構成では32.7%の精度を達成し、強力なポリシー認識モデリングの必要性が浮き彫りになった。
• 対話履歴とエージェントガイドラインの両方に条件づけることでパフォーマンスが著しく向上し、最良のモデルは両方のコンテキスト源に依存していた。