[論文レビュー] Preventing Posterior Collapse with Levenshtein Variational Autoencoder

Serhii Havrylov, Ivan Titov|arXiv (Cornell University)|Apr 30, 2020

Topic Modeling参考文献 41被引用数 5

ひとこと要約

本稿では、Levenshtein距離に基づくカーネル密度推定とモデル分布のKLダイバージェンスの上界を最適化することにより、後方崩壊を防ぐ新しいVAE目的関数であるLevenshtein変分オートエノード（Lev-VAE）を提案する。各ステップでLevenshtein距離を用いて最適な系列継続を予測させることで、アーキテクチャの変更なしに、分離可能で情報量の多い潜在表現を学習する。文書感情分析や自然言語推論などの下流タスクにおいて、β-VAE やサイクル的アニーリングVAE を上回る性能を発揮する。

ABSTRACT

Variational autoencoders (VAEs) are a standard framework for inducing latent variable models that have been shown effective in learning text representations as well as in text generation. The key challenge with using VAEs is the {\it posterior collapse} problem: learning tends to converge to trivial solutions where the generators ignore latent variables. In our Levenstein VAE, we propose to replace the evidence lower bound (ELBO) with a new objective which is simple to optimize and prevents posterior collapse. Intuitively, it corresponds to generating a sequence from the autoencoder and encouraging the model to predict an optimal continuation according to the Levenshtein distance (LD) with the reference sentence at each time step in the generated sequence. We motivate the method from the probabilistic perspective by showing that it is closely related to optimizing a bound on the intractable Kullback-Leibler divergence of an LD-based kernel density estimator from the model distribution. With this objective, any generator disregarding latent variables will incur large penalties and hence posterior collapse does not happen. We relate our approach to policy distillation \cite{RossGB11} and dynamic oracles \cite{GoldbergN12}. By considering Yelp and SNLI benchmarks, we show that Levenstein VAE produces more informative latent representations than alternative approaches to preventing posterior collapse.

研究の動機と目的

• 変分オートエノードにおける後方崩壊問題に対処すること。これは、生成時に潜在変数を無視する場合に発生する。
• アーキテクチャの変更なしに、シンプルで効率的かつ汎用的な訓練目的関数を開発すること。
• 提案手法が、β-VAE やサイクル的アニーリングVAE といった既存手法よりも、より情報量の多い潜在表現を生成することを示すこと。
• 表現学習や言語モデル生成を含む、さまざまなタスクに一般化できることを示すこと。
• KDE とモデル分布のKLダイバージェンスの上界に基づいた、確率論的根拠を持つ目的関数を提示すること。

提案手法

• 標準的なELBO目的関数に代えて、各時刻で生成系列の最適な継続を予測させることを促進する新しい損失関数を導入する。
• 現在の生成済みプレフィックスと正例ターゲット系列との間のLevenshtein距離を用いて、最適な継続を定義する。
• 動的計画法を用いて、各ステップでの最適な継続の集合を効率的に計算し、微分可能訓練を可能にする。
• Levenshteinに基づくカーネル密度推定とモデル分布の、計算不能なKLダイバージェンスの上界として目的関数を定式化する。
• 最適継続予測に基づく再構成損失と、事前分布と事後分布の間のKL正則化を組み合わせてモデルを訓練する。
• 線形プローブを潜在表現に適用することで、非条件付き生成と下流分類タスクの両方への適用を実施する。

実験結果

リサーチクエスチョン

• RQ1 Levenshtein距離に基づく新しいVAE目的関数は、アーキテクチャの変更なしに後方崩壊を防止できるか？
• RQ2 提案されたLevenshtein VAEは、β-VAE やサイクル的アニーリングVAE と比較して、表現品質においてどの程度優れているか？
• RQ3 モデルがゴールスタンダードのプレフィックスに依存できない状況でも、潜在空間が意味のある文構造をどの程度捉えられるか？
• RQ4 自然言語推論やセンチメント分類といった下流NLPタスクに一般化できるか？
• RQ5 訓練方針を踏まえて、露出バイアスを回避しながらも、高い生成品質を維持できるか？

主な発見

• SNLI データセットでは、α=1.0 のLevenshtein VAEが、類似した訓練条件下でβ-VAE（60.33%）とサイクル的アニーリングVAE（55.54%）を上回る線形プローブ精度63.80%を達成した。
• 単純な非変分的Levenshteinオートエノード（Lev. AE）はSNLIで61.49%の精度を達成し、標準VAE（43.36%）を上回り、潜在正則化なしでもコアアイデアの有効性を示した。
• Yelp センチメント分析データセットでは、Lev-VAE はより大きなKL値を使用しても、β-VAE やサイクル的アニーリングVAE より高い精度を示し、より情報量の多い潜在コードであることを裏付けた。
• 入力文のすべての位置で、Lev-VAE の単語再構成精度はβ-VAE よりも高く、Lev-VAE が、ゴールスタンダードプレフィックスに依存するのではなく、潜在コードをより効果的に活用していることを示している。
• ラベル付きデータ量を変化させた半教師あり設定でも、Lev-VAE は全データレジームでβ-VAE を上回り、ロバスト性と一般化能力を確認した。
• Yelp データセットでは、近似的に完全な自己符号化性能（再構成損失 ≈1.49）を達成しており、潜在空間が文全体の情報を捉えていることを示している。