[論文レビュー] Contrastive Entropy: A new evaluation metric for unnormalized language models

Kushal Arora, Anand Rangarajan|arXiv (Cornell University)|Jan 3, 2016

Topic Modeling参考文献 11被引用数 6

ひとこと要約

本稿では、正規化されていない言語モデルのための新しい判別的評価指標である対照的エントロピー（CE）を紹介する。CEは、正しい文とその変形版を区別するモデルの能力を測定する。周囲確率とは異なり、CEは正規化された確率を必要としないため、文単位のモデルに適している。実験の結果、判別的に訓練された文単位のRNNは、特に低歪度の条件下で、標準的なRNNやn-gramモデルを上回る優れたCEスコアを達成した。

ABSTRACT

Perplexity (per word) is the most widely used metric for evaluating language models. Despite this, there has been no dearth of criticism for this metric. Most of these criticisms center around lack of correlation with extrinsic metrics like word error rate (WER), dependence upon shared vocabulary for model comparison and unsuitability for unnormalized language model evaluation. In this paper, we address the last problem and propose a new discriminative entropy based intrinsic metric that works for both traditional word level models and unnormalized language models like sentence level models. We also propose a discriminatively trained sentence level interpretation of recurrent neural network based language model (RNN) as an example of unnormalized sentence level model. We demonstrate that for word level models, contrastive entropy shows a strong correlation with perplexity. We also observe that when trained at lower distortion levels, sentence level RNN considerably outperforms traditional RNNs on this new metric.

研究の動機と目的

• 正規化されていない言語モデル、特に計算が困難な正規化定数を有するモデルの評価において、周囲確率の限界を克服すること。
• 単語レベルおよび文単位の言語モデルの両方に対応する判別的評価指標を提案すること。
• 対照的学習が、特に文単位のモデルにおいて、新しい指標でのモデル性能を向上させることを示すこと。
• 対照的エントロピーとWERの間には強い相関関係があると仮説を立て、その理由として両者の共通する判別的性質を挙げること。

提案手法

• 元の文とその変形版を区別する能力を評価する判別的指標として、対照的エントロピー（CE）を提案する。
• CEを、元の文とその変形版の間の交差エントロピー率として定義し、$ H_C = -\frac{1}{N} \sum_{W_n \in T} \log(m(W_n)) $ で計算する。ここで $ m $ はモデルの正規化されていない確率を表す。
• 対照的推定の原則に従い、文単位のRNN（sRNN）を、ドメイン内とドメイン外の文の間の判別能力を最大化するように訓練する。
• 訓練中に歪度（10%、30%、50%）を用いて、ネガティブ例を生成することで、自然な変化への一般化性能を向上させる。
• $ \ell_2 $ 正則化を用いた勾配降下法を採用し、Penn Treebank WSJ データ上で SRILM および RNNLM ツールキットを用いて評価を行う。
• モデル間の性能を正規化するために、対照的エントロピー比 $ H_{CR} = \frac{H_C(\text{test distortion})}{H_C(\text{baseline distortion})} $ を導入する。

実験結果

リサーチクエスチョン

• RQ1 対照的エントロピーのような判別的指標は、周囲確率を上回って、正規化されていない言語モデルの評価に有効であるか？
• RQ2 対照的推定を用いて訓練された文単位のRNNは、未知の文の変形に対して、判別能力が向上するか？
• RQ3 対照的エントロピーとWERの間に強い相関関係があるか。これは、周囲確率よりも現実の予測性能に優れている可能性を示唆する。
• RQ4 訓練時の歪度の選択が、文単位の言語モデルの新しい指標での性能に与える影響は何か？

主な発見

• 対照的エントロピーは、単語レベルのモデルでは周囲確率と強い相関を示し、従来の指標と整合性があることを検証した。
• 10%の歪度で訓練されたsRNN（sRNN-75(10)）は、50%の歪度において最高の対照的エントロピー（11.01）を達成し、すべての単語レベルのモデルを上回った。
• sRNN-75(10)は、50%/10%歪度における対照的エントロピー比が5.257に達し、RNN（2.596）やn-gramを大きく上回り、優れた判別能力を示した。
• 50%の歪度で訓練されたsRNN-75(50)は、低歪度（10%）では性能が低く（1.978）、高歪度（50%）では比が向上（3.275）した。これは、訓練時の歪度の影響を確認する結果となった。
• 対照的エントロピー比（H_CR）は、単語レベルのモデルでは安定して2.0～2.7の範囲に保たれたが、文単位のモデルではより高い比を示し、一般化性能の優位性を示した。
• sRNN-150(10)は対照的エントロピー比5.074を達成し、sRNN-75(10)の5.257よりわずかに低いが、より大きな潜在空間が常に性能向上に寄与するわけではないことを示唆した。