[論文レビュー] TODSum: Task-Oriented Dialogue Summarization with State Tracking

Lulu Zhao, Fujia Zheng+8 more|arXiv (Cornell University)|Oct 25, 2021

Topic Modeling参考文献 39被引用数 7

ひとこと要約

本稿では、事実的整合性を向上させるために、構造化された会話状態追跡を備えた大規模な公開タスク指向対話要約データセットTODSumを紹介する。本稿は、会話履歴と状態情報を会話状態エンコーダーとクロスアテンションメカニズムを介して統合する、状態を意識した構造化された対話要約モデルを提案し、ベースラインモデルと比較して、事実的整合性と要約品質が顕著に向上している。

ABSTRACT

Previous dialogue summarization datasets mainly focus on open-domain chitchat dialogues, while summarization datasets for the broadly used task-oriented dialogue haven't been explored yet. Automatically summarizing such task-oriented dialogues can help a business collect and review needs to improve the service. Besides, previous datasets pay more attention to generate good summaries with higher ROUGE scores, but they hardly understand the structured information of dialogues and ignore the factuality of summaries. In this paper, we introduce a large-scale public Task-Oriented Dialogue Summarization dataset, TODSum, which aims to summarize the key points of the agent completing certain tasks with the user. Compared to existing work, TODSum suffers from severe scattered information issues and requires strict factual consistency, which makes it hard to directly apply recent dialogue summarization models. Therefore, we introduce additional dialogue state knowledge for TODSum to enhance the faithfulness of generated summaries. We hope a better understanding of conversational content helps summarization models generate concise and coherent summaries. Meanwhile, we establish a comprehensive benchmark for TODSum and propose a state-aware structured dialogue summarization model to integrate dialogue state information and dialogue history. Exhaustive experiments and qualitative analysis prove the effectiveness of dialogue structure guidance. Finally, we discuss the current issues of TODSum and potential development directions for future work.

研究の動機と目的

• タスク指向対話（TOD）のための公開可能で大規模な対話要約データセットが不足している問題に対処すること。TODはカスタマーサービスなど実世界の応用で広く使用されている。
• ROUGEスコアに注目するが、意図やスロットなどの構造化された会話情報（例：意図、スロット）を無視する既存の要約データセットの限界を克服すること。
• 交渉、繰り返し、マルチドメイン対話などの状況下でも、会話状態の知識を統合することで、生成された要約の事実的整合性を向上させること。
• 単なる文の流暢さではなく、忠実性、一貫性、情報量に重点を置いた、包括的な対話要約のベンチマークを確立すること。
• 構造化された会話状態を活用して要約生成をガイドする状態を意識したモデルを開発し、事実誤認を低減すること。

提案手法

• 意図とスロット情報がアノテートされた、構造化された会話状態を備えた大規模で公開可能なタスク指向対話要約データセットTODSumを提案する。
• 複数ターンの対話から構造化された会話状態特徴を効果的に表現する新しい会話状態エンコーダーを導入する。
• デコーダーが関連する会話状態と履歴に注目できるようにする、会話状態に基づくクロスアテンションメカニズムを設計する。これにより、事実的根拠の強化が図られる。
• 会話履歴と会話状態を同時に符号化する、状態を意識した構造化された対話要約モデルを構築する。このモデルは要約生成に用いられる。
• 交渉のダイナミクスやターンごとの意図の変化をモデル化する、複数ターンの対話理解フレームワークを採用する。
• 会話状態の整合性に基づく新しい事実的整合性評価指標を導入し、要約の忠実性をより的確に評価できるようにする。

実験結果

リサーチクエスチョン

• RQ1 要約生成における会話状態情報は、どのようにして事実的整合性を向上させるために効果的に統合できるか？
• RQ2 構造化された会話状態のガイドラインは、生成された要約における事実誤認と重複をどの程度低減するか？
• RQ3 TODSumで学習したモデルは、ホテル、レストラン、タクシーなど複数のドメインに一般化可能であり、一貫性と情報量を維持できるか？
• RQ4 提案された状態を意識したモデルは、文の流暢さ、情報量、事実的正確性という観点から、強力なベースラインと比較してどのように差をつけるか？
• RQ5 現在のモデルがTODSumで示す主な失敗モードは何か？そして、より良い構造モデリングによってそれらはどのように是正できるか？

主な発見

• 提案された状態を意識したモデルは、TODSumベンチマークにおいて、事実的整合性（4.12）、文の流暢さ（4.41）、情報量（4.36）、重複（3.63）の各分野で、人間評価で最高得点を記録した。
• BART や BART に会話状態予測を組み合わせたモデルといった強力なベースラインと比較して、事実的整合性がBART比で0.83、BARTに予測状態を追加したモデル比で0.84向上した。
• 人間評価により、モデルが会話状態情報を効果的に活用することで、より簡潔で一貫性があり、事実的に正確な要約を生成することが確認された。
• 誤差分析により、交渉が活発な対話において、ベースラインと比較して情報欠落や推論の失敗が顕著に減少していることが判明した。
• モデルはまだ重複の問題に直面しており、ゴールド要約に存在しないドメインや意図を過剰に表現する傾向があるため、より良いフィルタリング機構の導入が求められる。
• 本研究では、情報欠落、ターン間の推論不足、重複の3つの主な誤りタイプを特定した。これらは今後の研究における主な課題を示している。