[論文レビュー] Standardizing the Measurement of Text Diversity: A Tool and a Comparative Analysis of Scores

Chantal Shaib, Govindarajan, Venkata S.+5 more|ArXiv.org|Mar 1, 2024

Gender Studies in Language被引用数 4

ひとこと要約

本稿では、圧縮比、長大n-gramの自己反復、Self-BLEU、BERTScoreを用いて、LLM出力におけるテキスト多様性を測定する標準化され、計算的に効率的なフレームワークを提案する。圧縮比と自己反復は、反復の強力な指標であり、相関が低いことが判明した。また、データセットやモデル間で一貫した多様性評価を可能にするオープンソースのPythonパッケージをリリースした。

ABSTRACT

The diversity across outputs generated by LLMs shapes perception of their quality and utility. High lexical diversity is often desirable, but there is no standard method to measure this property. Templated answer structures and ``canned'' responses across different documents are readily noticeable, but difficult to visualize across large corpora. This work aims to standardize measurement of text diversity. Specifically, we empirically investigate the convergent validity of existing scores across English texts, and we release diversity, an open-source Python package for measuring and extracting repetition in text. We also build a platform based on diversity for users to interactively explore repetition in text. We find that fast compression algorithms capture information similar to what is measured by slow-to-compute $n$-gram overlap homogeneity scores. Further, a combination of measures -- compression ratios, self-repetition of long $n$-grams, and Self-BLEU and BERTScore -- are sufficient to report, as they have low mutual correlation with each other.

研究の動機と目的

• LLM出力における反復と多様性を測定する標準的で信頼性のある指標の欠如に対処すること。
• 反復の主要な側面を捉える、計算的に効率的で統計的に独立した多様性スコアの最小集合を同定すること。
• 要約、エッセイ、インstructチューニングデータセットを含む、多様なテキストタイプにおけるこれらのスコアのパフォーマンスを評価すること。
• NLP研究における多様性評価の一貫性と再現可能性を促進するため、オープンソースのPythonパッケージをリリースすること。

提案手法

• CNN/DM要約やインstructチューニングデータを含む、複数のLLM出力英語テキストデータセットにおいて、12種類の多様性スコアを実証的に比較する。
• gzipを用いた圧縮比を、情報含量と反復の高速なプロキシとして用い、生テキストおよび品詞（POS）シーケンスの両方を測定する。
• 長大n-gram（n ≥ 5）の自己反復を計算し、異なる出力間での正確またはほぼ正確な反復を検出する。
• Self-BLEUとBERTScoreを用いて、n-gram的重複と意味的重複をそれぞれ評価し、他の指標との相関を検証する。
• テキスト長を制御するため、切り出しまたはダウンサンプリングを行い、すべての多様性スコアに加えて長さを報告することで、解釈可能性を確保する。
• `diversity` Pythonパッケージ（PyPI）をリリースし、研究者がこれらのスコアを一貫して計算・比較できるようにする。

Figure 1: Correlations between text diversity scores on CNN/DM. Compression ratio correlates strongly with most other diversity metrics.

実験結果

リサーチクエスチョン

• RQ1 どの多様性スコアがLLM出力における反復を最も効果的に捉え、互いにどの程度相関しているか？
• RQ2 圧縮比のような計算的に効率的なスコアは、n-gram同調性やBERTScoreのような遅延の大きい複雑な指標に代わって信頼性を持って使用できるか？
• RQ3 要約、エッセイ、インstructチューニングデータセットのような異なるタイプのテキストにおいて、多様性スコアはどのように変動するか？
• RQ4 テキスト長が多様性測定にどの程度混同要因となるか、そして比較研究においてこれをどのように軽減できるか？
• RQ5 どのスコアの組み合わせが、最も情報量が多く、かつ独立したテキスト多様性の特徴付けを提供するか？

主な発見

• 生テキストおよびPOSシーケンスの圧縮比は、より複雑な多様性スコアと強く相関しており、計算的にも効率的であるため、標準化の強力な候補である。
• 長大n-gram（n ≥ 5）の自己反復は、解釈がやすく、中程度の相関がなく、出力間の正確な反復を効果的に捉える測定法である。
• Self-BLEUは圧縮比や自己反復と弱い相関を示すが、計算コストが高いため、補完的指標として有用である。
• BERTScoreは人間生成とモデル生成のテキスト間でほとんど変動がなく、長さ補正後の多様性と相関が低いため、多様性評価には限界があると考えられる。
• 長さは主要な混同要因である：すべての多様性スコアがテキスト長と強く相関しており、有効な比較を行うためには長さの報告または正規化が必要である。
• Open Assistantインstructデータセットは、Dolly、Alpaca、Super-NaturalInstructionsよりも顕著に高い多様性を示すが、Unnatural Instructionsは極端な反復を示しており、データ品質上の問題が疑われる。

Figure 2: Correlations between diversity metrics, BERTScore, and ROUGE-1. Both reference-based metrics are weakly correlated with CR and Hom. (BERT), and moderately anti-correlated with Self-BLEU.