[論文レビュー] On the Relation between Quality-Diversity Evaluation and Distribution-Fitting Goal in Text Generation

Jianing Li, Yanyan Lan+2 more|arXiv (Cornell University)|Jul 3, 2020

Advanced Text Analysis Techniques被引用数 4

ひとこと要約

本稿は、テキスト生成における品質・多様性評価を分布適合目的と理論的に結びつけ、線形結合された品質・多様性指標が厳密な条件下でのみ有効な発散度測度を形成することを証明している。BLEU/自己BLEUは分布適合と不適合であり、代わりにカバレッジレート（CR）とネガティブリピティションレート（NRR）を提案する。これらは分布の正確性と生成品質の両方を的確に反映する。

ABSTRACT

The goal of text generation models is to fit the underlying real probability distribution of text. For performance evaluation, quality and diversity metrics are usually applied. However, it is still not clear to what extend can the quality-diversity evaluation reflect the distribution-fitting goal. In this paper, we try to reveal such relation in a theoretical approach. We prove that under certain conditions, a linear combination of quality and diversity constitutes a divergence metric between the generated distribution and the real distribution. We also show that the commonly used BLEU/Self-BLEU metric pair fails to match any divergence metric, thus propose CR/NRR as a substitute for quality/diversity metric pair.

研究の動機と目的

• テキスト生成における品質・多様性評価と分布適合目標の理論的関係を明確化すること。
• 生成済み分布と実際のテキスト分布の間で、品質および多様性指標が有効な発散度測度として機能する条件を特定すること。
• 分布の忠実度を反映しないという欠点を特定すること。
• 分布適合目標と整合性の高い新たな指標ペア、カバレッジレート（CR）とネガティブリピティションレート（NRR）を提案すること。
• 異なる生成設定において、実際のテキストデータを用いた実証的検証を実施すること。

提案手法

• 生成分布に関する関数として品質および多様性を定式化し、基本関数の積分変換によって定義する。
• 品質と多様性を同時に最大化する多目的最適化問題を分析し、パレート最適解を同定する。
• 品質と多様性の線形結合が発散度測度となるのは、指標が特定の関数的関係を満たす場合に限ることを証明する：g(x) は f(x) のアフィン変換の積分である。
• BLEU/自己BLEUペアがこの条件を満たさないことを示し、実際のテキストがモデル生成サンプルを上回る直感に反する結果が生じることを実証する。
• CRとNRRを代替指標として提案する：CRは参照セットにカバーされた固有のn-gramの割合を測定し、NRRは生成サンプル内の繰り返しをペナルティとして課す。
• RNNLMにおける温度スイープ実験を通じてCR/NRRの妥当性を検証し、品質・多様性・発散度のトレンドと一貫した傾向を示した。

実験結果

リサーチクエスチョン

• RQ1 品質と多様性指標の線形結合が、生成済み分布と実際のテキスト分布の間で有効な発散度測度として機能する条件は何か？
• RQ2 なぜBLEUや自己BLEUといった広く使われる指標が、テキスト生成における真の分布適合目標を反映しないのか？
• RQ3 品質・多様性・分布適合性を同時に捉える新しい指標ペアを構築可能か？
• RQ4 CRとNRRは、さまざまな生成設定において品質と多様性のトレードオフをBLEU/自己BLEUと比較してどれほど適切に反映するか？
• RQ5 実証的評価において、CR/NRRおよびその線形結合は実際に分布発散度とどの程度相関するか？

主な発見

• 品質と多様性指標の線形結合が有効な発散度測度となるのは、指標が厳密な関数的関係を満たす場合に限る：g(x) は f(x) のアフィン変換の積分である。
• 広く使われるBLEU/自己BLEUペアはこの条件を満たさず、分布適合目標を反映できない。実際のテキストがモデル生成サンプルを両指標で上回るという事実がこれを裏付けている。
• カバレッジレート（CR）とネガティブリピティションレート（NRR）は、理論的根拠に基づいた代替ペアであり、品質および多様性の両目標と整合する。
• RNNLMにおける温度スイープ実験では、CR/NRRが品質と多様性のトレンドを一貫して追跡し、その線形結合が分布発散度と相関することが示された。
• CR/NRRの性能はn-gram長が増加するにつれて急激に向上するため、n=2またはn=3のような短いn-gramでの使用が最適であると示唆される。
• 結果から、テキスト生成における品質・多様性評価において、BLEU/自己BLEUよりもCR/NRRを優先すべきであると示唆される。