[論文レビュー] MAUVE: Human-Machine Divergence Curves for Evaluating Open-Ended Text Generation.

Krishna Pillutla, Swabha Swayamdipta+4 more|arXiv (Cornell University)|Feb 2, 2021

Topic Modeling参考文献 17被引用数 2

ひとこと要約

MAUVEは、機械学習生成テキストと人間が書いたテキストの分布の乖離を測定することで、生成テキストの分布の乖離を定量化する新しい指標である。これは、カバレッジと品質のトレードオフを捉えることで、従来の指標よりもより原理的であり、人的判断やモデルサイズのトレンドと整合性が取れる。

ABSTRACT

Despite major advances in open-ended text generation, there has been limited progress in designing evaluation metrics for this task. We propose MAUVE -- a metric for open-ended text generation, which directly compares the distribution of machine-generated text to that of human language. MAUVE measures the mean area under the divergence curve for the two distributions, exploring the trade-off between two types of errors: those arising from parts of the human distribution that the model distribution approximates well, and those it does not. We present experiments across two open-ended generation tasks in the web text domain and the story domain, and a variety of decoding algorithms and model sizes. Our results show that evaluation under MAUVE indeed reflects the more natural behavior with respect to model size, compared to prior metrics. MAUVE's ordering of the decoding algorithms also agrees with that of generation perplexity, the most widely used metric in open-ended text generation; however, MAUVE presents a more principled evaluation metric for the task as it considers both model and human text.

研究の動機と目的

• オープンエンドテキスト生成のための原理的で整合性のある評価指標の不足を解決すること。
• 機械生成テキストの分布を人間の言語分布と直接比較する指標を開発すること。
• カバレッジ（モデルが人間の多様性を捉えられるか）と品質（低品質な出力を避けるか）のトレードオフを捉えること。
• 異なるモデルサイズやデコード戦略における自然なモデル行動を反映する指標を提供すること。
• オープンエンド生成タスクにおいて、パープレキシティや他の既存指標よりも信頼性の高い代替指標を提供すること。

提案手法

• MAUVEは、機械生成テキストの分布と人間の基準テキストの分布の間の乖離曲線の平均面積を計算する。
• この乖離曲線は、モデルがよく近似できる人間の分布の部分と、あまり近似できない部分のトレードオフを評価する。
• 学習または推定された分布モデルを用いて、生成テキストと人間テキストの確率密度を比較することで指標を構築する。
• Webテキストや物語生成タスクの両方で適用可能であり、さまざまなデコードアルゴリズムやモデルサイズをカバーする。
• トークンレベルの類似性だけでなく、分布全体の違いを分析することにより、カバレッジと品質の両方を統合的に捉える。
• MAUVEは、異なるモデルアーキテクチャーやデコード戦略に対してもロバストであり、現実の生成行動を反映するように設計されている。

実験結果

リサーチクエスチョン

• RQ1 MAUVEは、パープレキシティなどの既存指標と比較して、オープンエンドテキスト生成の評価においてどのように異なるか？
• RQ2 モデルサイズの増大に伴い、MAUVEはモデル性能の期待される挙動を適切に反映しているか？
• RQ3 MAUVEは、人的判断やパープレキシティと比較して、さまざまなデコード戦略の順序付けをどの程度正確に反映しているか？
• RQ4 MAUVEは、生成テキストにおけるカバレッジと品質のトレードオフをどの程度適切に捉えているか？
• RQ5 MAUVEは、現在の標準指標よりも原理的で信頼性の高い評価指標として機能できるか？

主な発見

• MAUVEは、モデルサイズの増大に伴うモデル性能の順序付けが、人的期待とより自然に一致することを示している。
• この指標のデコードアルゴリズム順位付けは、パープレキシティの結果と一致しており、広く使われている指標と整合性があることが検証された。
• MAUVEはカバレッジと品質のトレードオフを両方とも捉えており、n-gram類似度や尤度にのみ焦点を当てる指標よりも包括的な評価が可能である。
• MAUVEは、特に多様なデコード戦略にわたる分布シフトに対して、より感度が高いことが示された。
• MAUVEは、流暢だが反復的なテキストを生成するモデルと、多様で人間らしい出力を生成するモデルを効果的に区別できる。
• MAUVEは、従来の指標よりも人間の言語特性をよりよく反映する、原理的で分布ベースの評価を提供する。