[論文レビュー] SpokenWOZ: A Large-Scale Speech-Text Benchmark for Spoken Task-Oriented Dialogue Agents

Shuzheng Si, Wentao Ma+8 more|arXiv (Cornell University)|May 22, 2023

Topic Modeling被引用数 4

ひとこと要約

SpokenWOZは、203Kトーン、5.7K対話、8ドメインにわたる249時間の音声を含む大規模な、人間同士の音声・テキストデータセットを提供し、書かれたテキストを用いたTODベンチマークと現実の音声対話の間のギャップを埋めることを目的としている。本研究では、クロスターンスロット検出や推論スロット検出といった新たな課題を特定し、現在のモデルが依然として性能を発揮していないことを示しており、最高の対話状態トラッカーでも25.65%の共同目標精度にとどまり、エンドツーエンドモデルでは要求の52.1%にしか成功していない。

ABSTRACT

Task-oriented dialogue (TOD) models have made significant progress in recent years. However, previous studies primarily focus on datasets written by annotators, which has resulted in a gap between academic research and real-world spoken conversation scenarios. While several small-scale spoken TOD datasets are proposed to address robustness issues such as ASR errors, they ignore the unique challenges in spoken conversation. To tackle the limitations, we introduce SpokenWOZ, a large-scale speech-text dataset for spoken TOD, containing 8 domains, 203k turns, 5.7k dialogues and 249 hours of audios from human-to-human spoken conversations. SpokenWOZ further incorporates common spoken characteristics such as word-by-word processing and reasoning in spoken language. Based on these characteristics, we present cross-turn slot and reasoning slot detection as new challenges. We conduct experiments on various baselines, including text-modal models, newly proposed dual-modal models, and LLMs, e.g., ChatGPT. The results show that the current models still have substantial room for improvement in spoken conversation, where the most advanced dialogue state tracker only achieves 25.65% in joint goal accuracy and the SOTA end-to-end model only correctly completes the user request in 52.1% of dialogues. The dataset, code, and leaderboard are available: https://spokenwoz.github.io/.

研究の動機と目的

• 学術的リサーチにおける書かれたテキストを用いたTODデータセットと現実の音声対話システムとの間のギャップを埋めること。
• 従来の音声TODデータセットの限界、すなわち小規模さ、本物の対話者間音声の欠如、および音声固有の課題の不在に対処すること。
• 現実の音声会話のダイナミクス（不完全な発話や間接的な推論）を反映する、クロスターンスロット検出および推論スロット検出という新たな評価課題を導入すること。
• 対話状態および対話行動の詳細なアノテーションを備えた大規模で高品質な音声・テキストデータセットを提供し、強固なモデルの訓練と評価を支援すること。

提案手法

• 人間のエージェントとユーザー間のリアルタイム音声対話を収集するために、Wizard-of-Ozのデータ収集パイプラインを拡張した。
• 8ドメインにわたる5,700件の対話から249時間の音声を収集し、自然な音声言語のパターンを確保した。
• 各発話に対話状態および対話行動をアノテートし、97%を超えるトーンレベルのアノテーション精度を達成した。
• 2つの新しいタスクを導入した：不完全または断片的な発話における状態追跡をモデル化するクロスターンスロット検出、および間接的または暗黙的なユーザー意図を捉える推論スロット検出。
• テキストのみ、デュアルモーダル（音声＋テキスト）、およびLLMベースのモデルを対象とした評価プロトコルを備えた包括的なベンチマークを構築した。
• CC BY-NC 4.0ライセンスの下で、データセット、コード、リーダーボードを公開用GitHubリポジトリを通じて提供した。

実験結果

リサーチクエスチョン

• RQ1 大規模で本物の対話者間の音声・テキストデータセット上で評価した場合、音声対話のモデルパフォーマンスは、書かれたテキストベンチマークと比較してどのように変化するか？
• RQ2 音声対話においてスロット情報が複数の発話に分散している場合、現在の最先端モデルはクロスターンスロット検出をどの程度適切に処理できるか？
• RQ3 間接的な推論を要するスロットを、直接的なスロット抽出ではなく、音声言語で効果的に検出できるか？
• RQ4 自然な音声アーティファクトや不完全な発話を含む現実的な音声対話ベンチマークにおいて、現在の対話状態トラッカーおよびエンドツーエンドモデルのパフォーマンス限界は何か？
• RQ5 音声＋テキストのデュアルモーダルモデルは、音声のニュアンスを捉え、現実世界のシナリオでより強固に機能するか、テキストのみのモデルと比較してどう異なるか？

主な発見

• 最高の対話状態トラッカーでさえ、SpokenWOZベンチマークにおいて25.65%の共同目標精度にとどまり、音声対話における状態追跡の分野で大きな改善余地があることを示している。
• 最高のエンドツーエンドモデルですら、ユーザーの要求を正しく完了できたのは対話全体の52.1%にとどまり、現在のモデルと人間レベルのパフォーマンスとの間のギャップが顕著に表れている。
• 音声とテキストの両方のモダリティにアクセスできても、既存のデュアルモーダルモデルは、音声会話で一般的な不完全または断片的な発話を処理するのに依然として苦労している。
• クロスターンスロット検出をタスクとして導入したことで、モデルが複数のトーンにまたがるスロットを効果的に追跡できないことが判明し、特に発話が遮断されたり部分的に発話されたりする場合に顕著であった。
• 推論スロット検出は特に困難であり、モデルはしばしば間接的または暗黙的なユーザーの要請を誤解し、音声対話システムにおけるより良い推論力と文脈理解力の必要性を浮き彫りにしている。
• 高品質なアノテーションと現実的な音声パターンを備えた本データセットは、今後の研究の強固な基盤となり得る。人間のように自然な音声対話エージェントの発展を促進する可能性を秘めている。