[論文レビュー] Optimus: Organizing Sentences via Pre-trained Modeling of a Latent Space

Chunyuan Li, Xiang Gao+5 more|arXiv (Cornell University)|Apr 5, 2020

Topic Modeling参考文献 56被引用数 11

ひとこと要約

Optimusは、膨大なテキストデータ上で普遍的な潜在空間を事前学習する大規模で深層的な変分オートエンコーダー（VAE）を提案し、制御可能なテキスト生成と低リソースタスクへの強力なゼロショット転送を可能にした。BERTとGPT-2の長所を組み合わせることで、VAE言語モデリングにおいて最先端の結果を達成し、GPT-2より低いパープレキシティを実現するとともに、潜在ベクトルの演算による効果的なガイド付き生成を実現した。

ABSTRACT

When trained effectively, the Variational Autoencoder (VAE) can be both a powerful generative model and an effective representation learning framework for natural language. In this paper, we propose the first large-scale language VAE model, Optimus. A universal latent embedding space for sentences is first pre-trained on large text corpus, and then fine-tuned for various language generation and understanding tasks. Compared with GPT-2, Optimus enables guided language generation from an abstract level using the latent vectors. Compared with BERT, Optimus can generalize better on low-resource language understanding tasks due to the smooth latent space structure. Extensive experimental results on a wide range of language tasks demonstrate the effectiveness of Optimus. It achieves new state-of-the-art on VAE language modeling benchmarks. We hope that our first pre-trained big VAE language model itself and results can help the NLP community renew the interests of deep generative models in the era of large-scale pre-training, and make these principled methods more practical.

研究の動機と目的

• 文のための普遍的で構造的な潜在空間を学習する大規模で深層的な変分オートエンコーダー（VAE）を自然言語用に開発すること。
• 自己回帰的モデル（例：GPT-2）に見られる高レベルの制御の欠如を克服し、潜在ベクトルを操作することで制御されたガイド付きテキスト生成を可能にすること。
• BERTよりも滑らかで一般化しやすい潜在空間を学習することで、低リソース言語理解タスクにおけるゼロショットおよびフェイントショット性能を向上させること。
• 膨大なテキストデータ上で深層VAEを事前学習することで、KL消失問題を緩和し、表現品質を向上させることを示すこと。
• BERTに類似したエンコーディングとGPT-2に類似したデコーディングを共有潜在空間で統合することで、1つのフレームワークで言語理解と生成を統合すること。

提案手法

• 標準的なVAEの目的関数に従い、大規模なテキストコーパス上で深層TransformerベースのVAEを事前学習し、入力文をその潜在コードから再構成する。
• 学習された表現の滑らかさを保証するため、潜在空間に事前分布（例：標準正規分布）を導入して正則化する。
• 推論時にデコーダーに条件付きベクトルを組み込むことで、再トレーニングなしにガイド付きテキスト生成を可能にする。潜在ベクトルのインジェクション技術を用いる。
• テキスト生成、スタイル転送、ゼロショット理解などの下流タスクで事前学習モデルをファインチューニングする。
• 潜在空間の分離可能で構造的な性質を活かし、意味的転送が可能な算術演算（例：ベクトルの加算）を実行する。
• BERTのエンコーダーとGPT-2のデコーダーを統合し、既存の事前学習済みコンponentsを再利用することで、スケーラブルで効果的なモデルを構築する。

実験結果

リサーチクエスチョン

• RQ1 大規模で深層的なVAEは、生成と理解の両方を可能にする普遍的かつ構造的な潜在空間を自然言語で学習できるか？
• RQ2 膨大なテキストデータ上で事前学習することで、言語VAEにおけるKL消失問題はどのように緩和されるか？
• RQ3 潜在ベクトルの算術演算により、意味的で解釈可能な文の操作（例：スタイル転送、コンテンツの移行）が可能になるか？
• RQ4 Optimusの構造的な潜在空間は、低リソース言語理解タスクにおいてBERTの表現よりも一般化性が優れているか？
• RQ5 潜在コードによる制御可能な生成を可能にしつつ、GPT-2の言語モデリング性能を上回ることができるか？

主な発見

• Optimusは、4つの標準的なVAE言語モデリングベンチマークで最先端の性能を達成し、従来のVAEベースのモデルを上回った。
• Optimusは、標準的な言語モデリングベンチマークでGPT-2よりも低いパープレキシティを達成し、優れた系列モデリング能力を示した。
• 潜在ベクトルの算術演算により、効果的なガイド付きテキスト生成が可能であり、たとえば感情、トピック、主語の数を1つの文から別の文に転送できる。
• ゼロショットおよびフェイントショット言語理解タスクにおいて、滑らかで構造的な潜在空間のおかげで、BERTよりも優れた一般化性能を示した。
• ベクトル算術により、意味的な文の転送が潜在空間で可能であり、たとえば単数の主語から複数形に変換する、または日常の文脈からスポーツ関連の文脈にシフトするといった操作が可能である。
• 情報ボトルネックの観点からVAE目的関数を再考することで、VAEが学習された表現のコンactさと使いやすさのバランスを原理的に行う有効な手法であることが裏付けられた。