[論文レビュー] CSDS: A Fine-Grained Chinese Dataset for Customer Service Dialogue Summarization

Haitao Lin, Liqun Ma+5 more|arXiv (Cornell University)|Aug 30, 2021

Topic Modeling参考文献 31被引用数 4

ひとこと要約

本稿では、役割指向の要約（ユーザーおよびエージェントの視点）とトピック構造化要約を提供する、細分化された中国語カスタマーサービス対話データセットCSDSを紹介する。これにより、より正確で文脈に配慮した対話要約が可能になる。実験の結果、既存の手法はトピック構造と役割固有の内容をうまく扱えず、QAペア一致精度はわずか20％にとどまり、より優れたモデルと評価指標の必要性が浮き彫りになった。

ABSTRACT

Dialogue summarization has drawn much attention recently. Especially in the customer service domain, agents could use dialogue summaries to help boost their works by quickly knowing customer's issues and service progress. These applications require summaries to contain the perspective of a single speaker and have a clear topic flow structure, while neither are available in existing datasets. Therefore, in this paper, we introduce a novel Chinese dataset for Customer Service Dialogue Summarization (CSDS). CSDS improves the abstractive summaries in two aspects: (1) In addition to the overall summary for the whole dialogue, role-oriented summaries are also provided to acquire different speakers' viewpoints. (2) All the summaries sum up each topic separately, thus containing the topic-level structure of the dialogue. We define tasks in CSDS as generating the overall summary and different role-oriented summaries for a given dialogue. Next, we compare various summarization methods on CSDS, and experiment results show that existing methods are prone to generate redundant and incoherent summaries. Besides, the performance becomes much worse when analyzing the performance on role-oriented summaries and topic structures. We hope that this study could benchmark Chinese dialogue summarization and benefit further studies.

研究の動機と目的

• 既存のデータセットに不足している対話固有の要約特徴（発話者役割の視点やトピックレベルの構造）を補完すること。
• 抽出的要約と抽象的要約の両方のタスクをサポートする、大規模で高品質な中国語対話要約データセットを構築すること。
• 役割指向およびトピック構造化要約タスクにおける対話要約モデルのベンチマークを可能にすること。
• 現在の要約手法における主な課題、特にトピック構造の保持と冗長性の回避の観点から特定すること。
• 構造的および事実的整合性をよりよく評価できるように、QAペア一致に基づく新しい評価指標を開発すること。

提案手法

• アノテーターが対話をトピックベースの単位に分割し、各単位に対してQAペア（ユーザーの質問要約、エージェントの回答要約）を生成する。
• 3種類の要約を構築する：全体対話要約、ユーザー指向要約、エージェント指向要約。これらはQAペアを構築要素として使用する。
• 重要な情報を提供する発話を抽出的要約としてアノテートし、抽象的生成を支援する。
• 生成された要約内の正しく一致したQAペアの数を評価するために、ROUGE-Lに基づくグリーディマッチングアルゴリズムを提案する。
• 抽出的および抽象的モデルを用いたベンチマークを実施し、自動評価および人的評価を通じて性能を分析する。
• データセットは匿名化されたJDDCデータセットから構築され、相互アノテーター整合性の研究を通じて厳密なプライバシー保護と品質管理が行われた。

実験結果

リサーチクエスチョン

• RQ1 既存の対話要約モデルは、カスタマーサービス対話のトピック構造を保ち、冗長性のない正確な要約を生成できるか？
• RQ2 全体要約と比較して、現在のモデルは役割固有の要約（ユーザー対エージェントの視点）においてどの程度の性能を示すか？
• RQ3 既存の手法は、対話内での異なるトピックを正しく分離して要約する能力をどの程度欠いているか？
• RQ4 提案されたQAペア一致評価指標は、生成された要約における構造的および事実的誤りを効果的に特定できるか？
• RQ5 アノテートされたキーアウトプットインデックスの導入により、抽象的要約モデルの性能向上が見られるか？

主な発見

• 最高性能を示したモデルでも、参照QAペアの一致精度はわずか20％にとどまり、トピック構造の保持に深刻な困難が生じていることが示された。
• QAペア一致の精度は0.19にまで低下し、生成された要約に高い冗長性と内容の不一致が見られることが明らかになった。
• トピック数の増加に伴い性能が著しく低下し、複数トピックを含む対話要約が依然として大きな課題であることが示された。
• 既存の抽象的要約モデルは、アノテートされたキーアウトプットインデックスによってガイドされると性能が向上する傾向を示しており、今後のモデル設計における有効性が示唆された。
• 人的評価では、生成された要約にしばしば非論理的または関係のない内容が含まれており、特に役割指向およびトピック構造化設定において顕著であった。
• 提案されたQAペア一致評価指標は、標準的なROUGEスコアが見逃す構造的欠陥を効果的に露呈し、対話要約におけるより信頼性の高い評価基準を提供した。