[論文レビュー] Eval all, trust a few, do wrong to none: Comparing sentence generation models

Ondřej Cífka, Aliaksei Severyn+2 more|arXiv (Cornell University)|Apr 21, 2018

Topic Modeling参考文献 18被引用数 33

ひとこと要約

本論文は、ニューラル文生成モデルのためのきめ細やかな評価フレームワークを導入し、自動評価指標と人的評価指標を用いて、単純な自己符号化器、変分的自己符号化器、敵対的正則化付き自己符号化器を比較する。その結果、潜在変数の正規化とノイズ注入といった単純な正則化手法により、球面事前分布を備えた単純な自己符号化器が、再構成性能において最先端のモデルを上回りつつ、優れた生成品質を維持できることを明らかにした。

ABSTRACT

In this paper, we study recent neural generative models for text generation related to variational autoencoders. Previous works have employed various techniques to control the prior distribution of the latent codes in these models, which is important for sampling performance, but little attention has been paid to reconstruction error. In our study, we follow a rigorous evaluation protocol using a large set of previously used and novel automatic and human evaluation metrics, applied to both generated samples and reconstructions. We hope that it will become the new evaluation standard when comparing neural generative models for text.

研究の動機と目的

• 神経的テキスト生成研究における標準化された評価の欠如、特に再構成と無条件生成タスクに関して、その問題を解決すること。
• 潜在変数の正規化、ノイズ注入、ドロップアウトといった正則化手法が自己符号化器の性能に与える影響を調査すること。
• 同一の実験条件下で複数の自己符号化器変種（AE, VAE, AAE, ARAE）を比較し、モデルの挙動の違いを明確にすること。
• 生成されたサンプルと再構成入力の両方に対して自動指標と人的評価を用いた、生成モデルの新しいベンチマークを確立すること。
• 画像生成評価にインspiredされた、テキスト生成品質を評価するための新しい自動指標「Fréchet InferSent Distance」を導入すること。

提案手法

• 自動指標（逆/順方向交差エントロピー、FID、文の流暢さスコア）と、生成された文および再構成された入力に対する人的評価を併用した包括的な評価プロトコルを適用する。
• 単純な自己符号化器（AE）、変分的自己符号化器（VAE）、敵対的正則化付き自己符号化器（ARAE）、およびガウス分布と球面事前分布を備えた2種類の敵対的自己符号化器（AAE）の5つの自己符号化器モデルを実装し、比較する。
• 潜在変数の正規化を用いて埋め込みを単位球面上に制約し、潜在表現にノイズを注入することで一般化性能を向上させ、モード崩壊を回避する。
• 学習の安定化と潜在空間における過学習の低減を目的に、訓練中にRNNドロップアウトを適用する。
• 画像生成で用いられるFréchet Inception Distance（FID）をテキストに適応させるために、事前学習済みのInferSent文埋め込みを用い、実際の文分布と生成された文分布の間のFréchet距離を計算する。
• t-SNEを用いて学習された潜在表現を可視化し、モデル間での文符号化の滑らかさと分離性を分析する。

実験結果

リサーチクエスチョン

• RQ1 球面事前分布やノイズ注入といった異なる正則化手法が、自己符号化器ベースのテキスト生成における再構成精度と生成品質にどのように影響を与えるか？
• RQ2 敵対的学習と事前分布正則化は、標準的なVAEと比較して、サンプリングの多様性と再構成忠実度をどの程度向上させるか？
• RQ3 単純な正則化を施した単純な自己符号化器（AE）は、VAE や ARAE よりも再構成性能と無条件生成性能の両面で優れているか？
• RQ4 逆交差エントロピーとFIDといった自動指標は、人的評価による流暢さと多様性とどの程度相関しているか？
• RQ5 提案されたFréchet InferSent Distanceは、実際のテキスト分布と生成されたテキスト分布の間の分布的類似性を的確に捉えているか？

主な発見

• 球面事前分布を備えた単純な自己符号化器（AE-sph）が、再構成性能で最も優れており、VAE や ARAE を顕著に上回った。
• σ=0.1を用いたAE-sphは、順方向交差エントロピーで優れた性能を示し、最良のVAEと比較してFIDはわずかに高いにとどまった。これは優れたサンプル品質を示している。
• 実データよりも低い逆交差エントロピーを示している（モード崩壊の兆候）ものの、VAE よりも逆交差エントロピーが高いため、分布崩壊の程度がやや軽微であると考えられる。
• AE-sphは言語モデルを上回る流暢さスコアを達成しており、VAE のみに劣るにとどまり、優れた生成品質を示した。
• 敵対的学習は球面事前分布を備えたモデルに対してはほとんど利益をもたらさなかった（AAE-sphはAE-sphと同程度の性能）。これは、ノイズ注入と正規化が優れた性能を達成するのに十分であることを示唆している。
• ARAEモデルは再構成スコアが最高であったが、人的評価では低い結果にとどまり、再構成性能とサンプル品質の間にはトレードオフがあることが示された。