[論文レビュー] Jointly Measuring Diversity and Quality in Text Generation Models

Ehsan Montahaei, Danial Alihosseini+1 more|arXiv (Cornell University)|Apr 8, 2019

Topic Modeling参考文献 19被引用数 11

ひとこと要約

本稿では、MS-Jaccard（n-gramベース）およびFBD（BERTを用いた特徴ベース）のメトリクスに加え、オラクル設定用の分布的発散を導入することで、品質と多様性の両方を統合的に評価するフレームワークを提案する。主な貢献は、温度変動スペクトルにわたる人間の評価とモデル行動と強く相関するメトリクス群であり、BLEU や Self-BLEU といった個別メトリクスを上回る性能を示す。

ABSTRACT

Text generation is an important Natural Language Processing task with various applications. Although several metrics have already been introduced to evaluate the text generation methods, each of them has its own shortcomings. The most widely used metrics such as BLEU only consider the quality of generated sentences and neglect their diversity. For example, repeatedly generation of only one high quality sentence would result in a high BLEU score. On the other hand, the more recent metric introduced to evaluate the diversity of generated texts known as Self-BLEU ignores the quality of generated texts. In this paper, we propose metrics to evaluate both the quality and diversity simultaneously by approximating the distance of the learned generative model and the real data distribution. For this purpose, we first introduce a metric that approximates this distance using n-gram based measures. Then, a feature-based measure which is based on a recent highly deep model trained on a large text corpus called BERT is introduced. Finally, for oracle training mode in which the generator's density can also be calculated, we propose to use the distance measures between the corresponding explicit distributions. Eventually, the most popular and recent text generation models are evaluated using both the existing and the proposed metrics and the preferences of the proposed metrics are determined.

研究の動機と目的

• 既存のメトリクスが品質（例：BLEU）や多様性（例：Self-BLEU）を個別に評価するという限界を是正し、両者のトレードオフを無視するのを防ぐ。
• 低品質または低多様性の出力をペナルティ化する対称的で統合的な評価メトリクスを構築し、モード収束を含む生成結果に対しても適切に評価できるようにする。
• 画像生成のFréchet Inception Distance（FID）を模倣した、BERTに基づく特徴空間メトリクス（FBD）を提案し、自然言語に適応させる。
• 真のデータ分布が分かっているオラクル学習設定において、Bhattacharyya距離などの発散を用いて分布比較を可能にする、原則的で整合性のある評価手法を提供する。
• 提案メトリクスを現実世界および合成データセットで検証し、温度変動に伴うモデルの質的行動と一貫性を示す。

提案手法

• MS-Jaccard を提案。これは、生成文と参照文のセット間のJaccard類似度を計算する対称的n-gramベースのメトリクスで、品質とカバレッジ両方を捉える。
• FBD（特徴ベース距離）を導入。BERT埋め込みを特徴抽出器として用い、実際のテキストと生成されたテキストの特徴分布間のFréchet距離を計算する。
• オラクル設定では、学習済みモデル分布と真のデータ分布（オラクル）間のBhattacharyya距離を用いることを提案。これにより、直接的な分布比較が可能になる。
• 推論時に温度スケーリングを用いて、多様性にわたる出力を生成し、品質・多様性空間におけるモデル行動の分析を可能にする。
• 比較のためのベースラインとして、NLL（負の対数尤度）を品質指標、エントロピーを多様性指標として用いる。
• 温度値ごとのモデル性能に多項式フィッティングを適用し、品質・多様性トレードオフの可視化と比較を可能にする。

実験結果

リサーチクエスチョン

• RQ1 BLEU や Self-BLEU といった個別メトリクスに依存せずに、テキスト生成モデルの品質と多様性を1つのメトリクスで効果的に捉えられるか？
• RQ2 提案されたメトリクス（MS-Jaccard と FBD）は、推論温度を変化させた際のモデルの実際の品質・多様性行動とどの程度相関しているか？
• RQ3 提案メトリクスは、品質・多様性空間における人間評価やモデルの優位性順序とどの程度整合しているか？
• RQ4 BERTに基づく特徴表現は、画像生成におけるFIDに類似した、堅牢で汎用性のあるテキスト生成用評価メトリクスを可能にするか？
• RQ5 真のデータ分布が分かっているオラクル設定において、分布的発散（例：Bhattacharyya距離）はどの程度の性能を示すか？

主な発見

• MS-Jaccard4 は、COCO、EMNLP2017、IMDB の複数のデータセットで一貫したモデル順序付けを示し、全温度スペクトル解析（例：MLE > MaliGAN > RankGAN > SeqGAN）で観察される優位性順序と一致した。
• FBD スコアは、EMNLP2017 および IMDB データセットにおいて、温度設定に応じた品質・多様性行動と高い相関を示した。
• 提案メトリクス（1−MS-Jaccard4 と FBD）は、現実世界のデータセットで互いに高く相関（r > 0.8）し、NLL とも強い相関を示した。これは、強い一貫性を示している。
• オラクルデータセットでは、モデル分布とオラクル分布間のBhattacharyya距離が、モデル性能を正しく順位付けしており、閉形式設定での妥当性を確認した。
• これらのメトリクスは、モード収束を効果的に特定できた：低多様性（例：SeqGAN）のモデルはBLEUでは高いスコアを示すが、MS-Jaccard や FBD では低スコアとなり、多様性に欠けることを反映した。
• 温度スケーリングの適用により、提案メトリクスが全温度範囲におけるモデル行動を予測可能であり、全温度で評価を実施する必要がないことが示された。