[论文解读] Standardizing the Measurement of Text Diversity: A Tool and a Comparative Analysis of Scores

Chantal Shaib, Govindarajan, Venkata S.+5 more|ArXiv.org|Mar 1, 2024

Gender Studies in Language被引用 4

一句话总结

本文提出了一种标准化、计算高效的框架，用于通过压缩比、长n-gram自重复性、Self-BLEU和BERTScore来测量大语言模型输出中的文本多样性。研究发现，压缩比和自重复性是重复性的强指标，且相互之间相关性较低，同时发布了开源Python工具包，以实现在不同数据集和模型之间的一致性多样性评估。

ABSTRACT

The diversity across outputs generated by LLMs shapes perception of their quality and utility. High lexical diversity is often desirable, but there is no standard method to measure this property. Templated answer structures and ``canned'' responses across different documents are readily noticeable, but difficult to visualize across large corpora. This work aims to standardize measurement of text diversity. Specifically, we empirically investigate the convergent validity of existing scores across English texts, and we release diversity, an open-source Python package for measuring and extracting repetition in text. We also build a platform based on diversity for users to interactively explore repetition in text. We find that fast compression algorithms capture information similar to what is measured by slow-to-compute $n$-gram overlap homogeneity scores. Further, a combination of measures -- compression ratios, self-repetition of long $n$-grams, and Self-BLEU and BERTScore -- are sufficient to report, as they have low mutual correlation with each other.

研究动机与目标

• 为解决大语言模型生成文本中重复性和多样性的测量缺乏标准化、可靠指标的问题。
• 识别一组计算高效且统计独立的多样性评分，以捕捉重复性的关键方面。
• 评估这些评分在不同类型文本（包括模型生成的摘要、文章和指令微调数据集）中的表现。
• 发布开源Python工具包，以促进自然语言处理研究中多样性评估的一致性和可复现性。

提出的方法

• 在多个大语言模型生成的英文文本数据集（包括CNN/DM摘要和指令微调数据）上，实证比较12种多样性评分。
• 使用压缩比（通过gzip）作为信息含量和重复性的快速代理，测量原始文本和词性（POS）序列。
• 计算长n-gram（n ≥ 5）的自重复性，以检测不同输出之间的完全或近似重复。
• 应用Self-BLEU和BERTScore分别评估n-gram重叠和语义重叠，并评估其与其他指标的相关性。
• 通过截断或下采样控制文本长度，并在所有多样性评分中一并报告长度，以确保可解释性。
• 发布 `diversity` Python工具包（PyPI），使研究人员能够一致地计算和比较这些评分。

Figure 1: Correlations between text diversity scores on CNN/DM. Compression ratio correlates strongly with most other diversity metrics.

实验结果

研究问题

• RQ1 哪些多样性评分在捕捉大语言模型生成文本中的重复性方面最有效，它们之间的相关性如何？
• RQ2 计算效率高的评分（如压缩比）能否可靠地替代计算更慢、更复杂的指标（如n-gram同质性或BERTScore）？
• RQ3 多样性评分在不同类型文本（如模型生成的摘要、文章和指令微调数据集）中如何变化？
• RQ4 文本长度在多大程度上会混淆多样性测量？在比较研究中如何缓解这一问题？
• RQ5 哪一组评分能提供最信息丰富且相互独立的文本多样性表征？

主要发现

• 原始文本和POS序列的压缩比与更复杂的多样性评分高度相关，且计算效率高，是标准化的有力候选指标。
• 长n-gram（n ≥ 5）的自重复性是一种高度可解释且中等程度不相关的度量，能有效捕捉输出间的完全重复。
• Self-BLEU与压缩比和自重复性相关性较弱，尽管计算成本较高，但仍作为有用的补充指标。
• BERTScore在人类和模型生成文本之间变化极小，且与长度调整后的多样性评分相关性差，表明其在多样性评估中效用有限。
• 文本长度是主要混淆因素：所有多样性评分均与文本长度强相关，因此在有效比较中必须报告长度或进行归一化处理。
• Open Assistant指令数据集的多样性显著高于Dolly、Alpaca和Super-NaturalInstructions，而Unnatural Instructions表现出极端重复，表明可能存在数据质量问题。

Figure 2: Correlations between diversity metrics, BERTScore, and ROUGE-1. Both reference-based metrics are weakly correlated with CR and Hom. (BERT), and moderately anti-correlated with Self-BLEU.