[論文レビュー] MAUVE: Measuring the Gap Between Neural Text and Human Text using Divergence Frontiers

Krishna Pillutla, Swabha Swayamdipta+5 more|arXiv (Cornell University)|Feb 2, 2021

Topic Modeling被引用数 91

ひとこと要約

MAUVE は、divergence-frontier に基づく指標を導入し、モデルと人間のテキスト分布を量子化埋め込み空間で比較することにより、ニューラルテキスト分布が人間のテキストにどれだけ近いかを定量化します。

ABSTRACT

As major progress is made in open-ended text generation, measuring how close machine-generated text is to human language remains a critical open problem. We introduce MAUVE, a comparison measure for open-ended text generation, which directly compares the learnt distribution from a text generation model to the distribution of human-written text using divergence frontiers. MAUVE scales up to modern text generation models by computing information divergences in a quantized embedding space. Through an extensive empirical study on three open-ended generation tasks, we find that MAUVE identifies known properties of generated text, scales naturally with model size, and correlates with human judgments, with fewer restrictions than existing distributional evaluation metrics.

研究の動機と目的

• 原理的でスケーラブルなオープンエンドなテキスト生成の測度を提案する（退化した機械出力と人間テキストの限定的な網羅性の両方を考慮する）。
• divergence frontiers を用いてソフトな Type I および Type II エラーを用いてモデルと人間の分布のギャップを形式化する。
• 低次元空間で KL 発散を計算するために、テキスト分布を埋め込み、量子化することで効率的な推定フレームワークを提供する。
• Mauve が人間の判断と相関し、埋め込み/量子化の選択に対して頑健であることを示す。

提案手法

• divergence curve C(P,Q) を、Rλ = λP + (1−λ)Q で、λ ∈ (0,1) のときのペア (KL(P|Rλ), KL(Q|Rλ)) の集合として定義する。
• 未知の分布 P および Q を、人間テキストと機械テキストからのサンプルで近似し、外部モデル M によって埋め込まれて R^d のベクトルを得る。
• 埋め込まれたサンプルを量子化します（例：k-means）し、k 個のビン上の離散分布 ŜP と ŜQ を形成する。
• 分岐曲線の下の領域 Mauve(P,Q) を、Type I および Type II エラーのトレードオフのスカラー要約として計算する。
• MC サンプリングと選択されたスケーリング定数 c を用いて、解釈可能な Mauve 値を生成する実用的な推定ワークフローを提供する。
• 埋め込みの選択と量子化手法に対する Mauve の頑健性を示す。

実験結果

リサーチクエスチョン

• RQ1 混合比 λ のスペクトル全体で評価したとき、ニューラルテキスト分布 Q は人間テキスト分布 P にどれだけ近いか？
• RQ2 Mauve は長さ、デコーディングアルゴリズム、モデルサイズなど、生成テキストの既知の特性を識別できるか？
• RQ3 Mauve は異なる埋め込みと量子化戦略に対して頑健であり、人間の判断と相関するか？
• RQ4 既存の自動指標よりも、Mauve は人間の品質判断とのより忠実な相関を提供するか？

主な発見

• Mauve は知覚される品質に関する人間の判断と高い相関を示し、より人間らしく妥当な出力ほど他の指標よりも高くなる。
• Mauve はデコーディングアルゴリズム間の期待される品質関係（greedy < ancestral < nucleus）を捉え、敵対的/ビーム探索デコードの退化を検出する。
• Mauve はモデルサイズの大きさに伴って上昇し、人間の品質評価と一致する一方、生成困惑度などの伝統的な指標はそうならない。
• Mauve は埋め込みの選択（GPT-2 Large vs RoBERTa Large）や異なる量子化戦略（k-means、DRMM、lattice）に対して頑健である。
• このアプローチは、機械と人間のテキスト間の分布ギャップを要約する、オープンエンドなテキスト生成のスケーラブルでドメイン非依存の測度を提供します。