[论文解读] compare-mt: A Tool for Holistic Comparison of Language Generation Systems

Graham Neubig, Zi-Yi Dou+5 more|arXiv (Cornell University)|Mar 19, 2019

Topic Modeling参考文献 49被引用 14

一句话总结

本文介绍了 compare-mt，这是一个纯 Python 编写的开源工具，用于对语言生成系统（尤其是机器翻译模型）进行整体性、交互式的比较分析，通过支持词级准确率、句级性能、显著 n-gram 及语言特征的差异分析，实现对模型表现的全面评估。该工具通过 HTML 报告提供可视化与统计摘要，显著减少了人工检查的时间，并揭示了超越 BLEU 等聚合指标的可操作性洞察。

ABSTRACT

In this paper, we describe compare-mt, a tool for holistic analysis and comparison of the results of systems for language generation tasks such as machine translation. The main goal of the tool is to give the user a high-level and coherent view of the salient differences between systems that can then be used to guide further analysis or system improvement. It implements a number of tools to do so, such as analysis of accuracy of generation of particular types of words, bucketed histograms of sentence accuracies or counts based on salient characteristics, and extraction of characteristic $n$-grams for each system. It also has a number of advanced features such as use of linguistic labels, source side data, or comparison of log likelihoods for probabilistic models, and also aims to be easily extensible by users to new types of analysis. The code is available at https://github.com/neulab/compare-mt

研究动机与目标

• 为解决在 BLEU 等聚合指标之外，缺乏透明、系统化的方法来识别模型性能提升的成因这一问题。
• 通过自动化检测系统输出之间的显著差异，减少手动错误分析的时间与认知负荷。
• 为研究人员提供一个可扩展、用户友好的工具，支持生成输出的初级与高级语言学分析。
• 通过词性准确率、句长效应和 n-gram 模式等聚合统计，实现对系统级改进的发现。
• 支持与源端语言学特征及概率模型输出的集成，以实现更深层次的诊断分析。

提出的方法

• 该工具接收参考翻译和两个系统输出作为输入，然后在多个维度上计算一整套对比统计指标。
• 按词性或词频分组计算词级 F-measure 分数，支持对罕见词或内容词的性能分析。
• 基于句长、源端复杂度或其他结构特征，对句级 BLEU 或准确率分数进行分桶直方图分析。
• 提取并排序显著 n-gram，突出显示一个系统在哪些方面优于另一个系统，揭示系统性差异。
• 支持使用语言学标签（如命名实体、语法成分）进行高级分析，结合源端对齐信息与概率模型的对数似然比较，实现更深入的诊断。
• 输出包含交互式图表、表格和 LaTeX 格式结果的丰富、格式化的 HTML 报告，适用于发表。

实验结果

研究问题

• RQ1 在整体 BLEU 得分之外，短语基于模型与神经机器翻译模型之间在翻译质量上存在哪些系统性差异？
• RQ2 我们如何自动识别出在新模型中改进最显著的词类（如低频词、功能词）？
• RQ3 我们能否检测到句级性能中的模式，例如在更长或更复杂的句子中准确率是否提升？
• RQ4 命名实体或语法一致等语言学特征如何影响不同系统间的模型表现？
• RQ5 整体比较工具在多大程度上可以减少模型分析中对逐例人工检查的需求？

主要发现

• 神经机器翻译（NMT）系统的 BLEU 得分为 24.03，高于短语基于模型（PBMT）的 22.43，且差异具有统计显著性（p < 0.001）。
• NMT 系统的平均翻译长度为 93.82 个词，短于 PBMT 的 94.79 个词，差异同样具有显著性（p < 0.001）。
• 词级 F-measure 分析显示，NMT 在低频词和内容词上显著优于 PBMT，尤其在词频 100–1000 范围内表现突出。
• 分桶分析表明，NMT 在所有句长类别中均保持更高的 BLEU 得分，其中在中等长度句子（10–30 个词）中提升最为显著。
• 显著 n-gram 的提取显示，NMT 在特定多词表达和句法结构（如介词短语和嵌套从句）的翻译上表现更优。
• 该工具的 HTML 报告可直接集成至研究论文中，本文所有图表与表格均由 compare-mt 生成，仅需极少格式调整。