[论文解读] MPCEval: A Benchmark for Multi-Party Conversation Generation

Minxing Zhang, Yi Yang+6 more|arXiv (Cornell University)|Mar 5, 2026

Topic Modeling被引用 0

一句话总结

简要结论：MPCEval 引入了一种面向任务的多方对话生成基准，使用分解的、无参考指标，在局部与全局评估层面诊断模型行为。

ABSTRACT

Multi-party conversation generation, such as smart reply and collaborative assistants, is an increasingly important capability of generative AI, yet its evaluation remains a critical bottleneck. Compared to two-party dialogue, multi-party settings introduce distinct challenges, including complex turn-taking, role-dependent speaker behavior, long-range conversational structure, and multiple equally valid continuations. Accordingly, we introduce MPCEval, a task-aware evaluation and benchmarking suite for multi-party conversation generation. MPCEval decomposes generation quality into speaker modeling, content quality, and speaker--content consistency, and explicitly distinguishes local next-turn prediction from global full-conversation generation. It provides novel, quantitative, reference-free, and reproducible metrics that scale across datasets and models. We apply MPCEval to diverse public and real-world datasets and evaluate modern generation methods alongside human-authored conversations. The results reveal systematic, dimension-specific model characteristics in participation balance, content progression and novelty, and speaker--content consistency, demonstrating that evaluation objectives critically shape model assessment and that single-score evaluation obscures fundamental differences in multi-party conversational behavior. The implementation of MPCEval and the associated evaluation code are publicly available at https://github.com/Owen-Yang-18/MPCEval.

研究动机与目标

• 将 MPCEval 定义为多方对话的评估框架。
• 将质量分解为说话人建模、内容质量和说话人–内容一致性。
• 区分局部下一轮预测与全局全对话生成。
• 提供定量、无参考、可重复的指标，能够在不同数据集和模型上扩展。
• 提供可拓展的基准框架，以便未来评估维度扩展。

提出的方法

• 提出一个任务感知的评估框架，区分局部与全局生成目标。
• 按三维度组织评估：说话人建模、内容质量、说话人–内容一致性。
• 开发一组全面的无参考评估指标，覆盖局部与全局评估（表1）。
• 在三个多方数据集（DeliData、MPDD、Tanka）上进行评估，以检验泛化性。
• 在开放、可扩展管线中同时支持基于提示的和基于训练的生成方法。
• 使 MPCEval 开源，以实现可重复的基准测试。

Figure 1. Overall design of the MPCEval framework.

实验结果

研究问题

• RQ1 RQ1：不同生成模型在三维评估维度、数据集和粒度（局部与全局）上是否表现出系统性差异？
• RQ2 RQ2：MPCEval 指标在敏感性和诊断能力方面与现有指标相比如何，传统指标在哪些方面失效？
• RQ3 RQ3：人类撰写的对话与机器生成的对话在评估维度上有何差异，是否应将人数据视为通用的黄金标准？

主要发现

• 不同模型在维度特定的行为上存在差异，MPCEval 能在数据集和评估粒度上区分这些差异。
• MPCEval 指标提供超越单一分数评估的诊断性洞察，揭示被聚合指标隐藏的权衡。
• 若依赖传统指标，现有评估范式可能在多方场景中误导模型比较。
• 人类撰写的对话并非在所有评估维度上都优于机器生成，且模型在不同维度的优势不同。
• 该框架开放、可扩展，面向原则性基准测试和实际部署而设计。