[論文レビュー] Generating Sentences by Editing Prototypes

Kelvin Guu, Tatsunori Hashimoto+2 more|arXiv (Cornell University)|Sep 26, 2017

Topic Modeling参考文献 31被引用数 33

ひとこと要約

本稿では、学習コーパスから文をサンプリングし、潜在的編集ベクトルに条件付けられた学習済みニューラルエディタを用いてそれを編集することで、パープレキシティと人間評価による品質を向上させる、プロトタイプから編集する生成言語モデルを提案する。モデルは、YelpとOne Billion Word Benchmarkにおいて、それぞれ13ポイントおよび7ポイントのパープレキシティ向上を達成し、編集ベクトルを介して解釈可能な意味的編集を可能にする。

ABSTRACT

We propose a new generative model of sentences that first samples a prototype sentence from the training corpus and then edits it into a new sentence. Compared to traditional models that generate from scratch either left-to-right or by first sampling a latent sentence vector, our prototype-then-edit model improves perplexity on language modeling and generates higher quality outputs according to human evaluation. Furthermore, the model gives rise to a latent edit vector that captures interpretable semantics such as sentence similarity and sentence-level analogies.

研究の動機と目的

• 自己回帰的言語モデルが多様で一般的でない文を生成する能力に制限があることに対処する。
• 訓練データからの高品質で文法的に正しいプロトタイプを活用することで、生成品質を向上させる。
• 文の間の意味的変換を捉える、分離可能で解釈可能な編集ベクトルを学習する。
• 微分可能でニューラルエディタを用いて、制御可能で意味的に意味のある編集を可能にする。
• 標準的な変分オートエンコーダと比較して、より構造的で意味的に滑らかな潜在空間を提供する。

提案手法

• モデルは、訓練コーパスから一様にプロトタイプ文をサンプリングすることで文を生成する。
• ニューラルエディタは、プロトタイプに注目し、事前分布から抽出された潜在的編集ベクトルに条件づけて、新しい文を生成する。
• モデルは、語彙的類似度を用いてプロトタイプの和集合を制限することで、周辺尤度の下界近似を最大化するように訓練される。
• スケーラブルな訓練のため、語彙的類似文ペアを効率的に同定するために局所性に敏感なハッシュ（LSH）が用いられる。
• エビデンス下界（ELBO）が編集ベクトルの期待値の近似に用いられ、バックプロパゲーションによるエンドツーエンドの訓練が可能になる。
• 未知語や類似しないテスト文に対して尤度がゼロにならないようにするため、特別な「空の」プロトタイプが導入される。

実験結果

リサーチクエスチョン

• RQ1 訓練データからのプロトタイプを編集する生成モデルは、自己回帰的モデルと比較して、より低いパープレキシティとより高い生成品質を達成できるか？
• RQ2 学習済みの編集ベクトルは、文の類似性や類推のような解釈可能な意味的変換を捉えられるか？
• RQ3 プロトタイプから編集するアプローチは、標準的な変分オートエンコーダと比較して、より制御可能で意味的に意味のあるテキスト生成を可能にするか？
• RQ4 語彙的類似度は、ニューラルエディタの訓練において意味的類似度の代理として有効か？
• RQ5 モデルは、正確な訓練例を超えて一般化可能であり、文法的整合性と多様性を維持できるか？

主な発見

• プロトタイプから編集するモデルは、ベースライン言語モデルと比較して、Yelpコーパスで13ポイント、One Billion Word Benchmarkで7ポイントのパープレキシティ低下を達成した。
• 人間評価の結果、モデルは標準的な自己回帰的言語モデルよりも高品質な文を生成した。
• 潜在的編集ベクトルは文の類似性を的確に捉え、局所的に制御可能なテキスト生成を可能にした。これは、これらのタスクにおいて標準的な文変分オートエンコーダを上回った。
• 複数の編集を連続して適用することで、意味的空間を滑らかに走査する意味的ランダムウォークをモデルが実行できることを示した。
• 特別な「空の」プロトタイプを用いたわずかなスムージングによって、希少または類似しないテスト文のパープレキシティが顕著に低下した。
• 訓練セットにおける語彙的類似文ペアは、意味的にも類似しており、語彙的類似度を意味的構造の代理として訓練目的に用いることの妥当性が裏付けられた。