[论文解读] CoTK: An Open-Source Toolkit for Fast Development and Fair Evaluation of Text Generation

Fei Huang, Dazhen Wan+6 more|arXiv (Cornell University)|Feb 3, 2020

Topic Modeling参考文献 35被引用 5

一句话总结

CoTK 是一个开源的 Python 工具包，通过标准化数据处理、指标实现和实验设置，加速文本生成模型的开发并确保评估的公平性与可复现性。它独特地使用哈希码来检测并标记不同配置下的不公平比较，从而实现在不同模型和数据集之间的可靠基准测试。

ABSTRACT

In text generation evaluation, many practical issues, such as inconsistent experimental settings and metric implementations, are often ignored but lead to unfair evaluation and untenable conclusions. We present CoTK, an open-source toolkit aiming to support fast development and fair evaluation of text generation. In model development, CoTK helps handle the cumbersome issues, such as data processing, metric implementation, and reproduction. It standardizes the development steps and reduces human errors which may lead to inconsistent experimental settings. In model evaluation, CoTK provides implementation for many commonly used metrics and benchmark models across different experimental settings. As a unique feature, CoTK can signify when and which metric cannot be fairly compared. We demonstrate that it is convenient to use CoTK for model development and evaluation, particularly across different experimental settings.

研究动机与目标

• 解决文本生成评估中实验设置和指标实现不一致的普遍问题，这些问题会导致不公平比较和不可复现的结果。
• 通过自动化数据处理、指标计算和环境追踪，减轻研究人员在模型开发过程中的负担。
• 通过检测并提示在不兼容设置下计算的指标（例如不同的分词或词表），实现公平的模型比较。
• 通过自动追踪代码、结果和运行时环境，支持可复现性和发表，促进共享模型评估。
• 在多种文本生成任务（包括对话和摘要）中提供标准化的数据加载器、基准模型和指标。

提出的方法

• 实现统一的数据加载器，支持文件读取、分词、词表构建和批量打包，并可配置设置。
• 集成常用的文本生成指标（BLEU、S-BLEU、F/B/H-BLEU、F/R-PPL、Distinct-2），并提供一致且有文档记录的实现。
• 为每个评估配置（例如分词方法、词表大小）生成唯一的哈希码，以检测比较是否无效。
• 支持与主流深度学习框架（PyTorch、TensorFlow）和模型工具包（Texar、Fairseq）的兼容性，以实现灵活的模型实现。
• 通过自动追踪代码、超参数和运行时环境，实现发布和可复现性，支持社区共享结果。
• 提供预收集的公开数据集和基准模型，以加速开发和比较。

实验结果

研究问题

• RQ1 文本生成评估中不一致的实验设置在多大程度上会导致不公平且不可复现的比较？
• RQ2 标准化的数据处理和指标实现能在多大程度上提升模型评估的可复现性和公平性？
• RQ3 基于哈希的系统能否有效检测并提示因配置差异导致的不可比模型评估结果？
• RQ4 CoTK 如何提升在多种文本生成任务中模型开发与评估的效率和可靠性？
• RQ5 CoTK 对不同模型和数据集之间基准测试的一致性和透明度有何影响？

主要发现

• CoTK 通过检测不兼容设置实现公平比较：例如，GPT2-ft 的困惑度得分（19.30*）因分词方式不同而被标记为不可比，而其他指标（BLEU、F/B/H-BLEU）则在不同模型间可比。
• 在 EMNLP2017 数据集上，Transformer 模型的 PPL 为 37.04，优于 GRU 的 47.74，且各模型间指标实现一致。
• 在 OpenSubtitles 数据集上，GPT2-ft 达到最高的 BLEU 得分（1.30）和 Distinct-2（0.156），尽管其 PPL（21.12*）因分词方式不同而不可比。
• 采用一致的分词和指标标准，确保 BLEU、S-BLEU、F/B/H-BLEU 和 F/R-PPL 结果在不同模型间可直接比较。
• CoTK 的哈希码系统成功识别出指标比较无效的情况，例如当词表或分词方法不同时。
• 该工具包显著减少了数据处理、评估和环境追踪中的手动工作量，从而加快了模型开发与发布的速度，并提高了可靠性。