[論文レビュー] A Batch Normalized Inference Network Keeps the KL Vanishing Away

Qile Zhu, Jianlin Su+5 more|arXiv (Cornell University)|Apr 27, 2020

Generative Adversarial Networks and Image Synthesis参考文献 35被引用数 4

ひとこと要約

本稿では、自己回帰的デコーダーを搭載したVAEにおける事後分布の崩壊を防ぐために、Kullback-Leibler（KL）ダイバージェンスがデータセット全体にわたり分布を示すように保証し、期待値を正に保つことで、シンプルでありながら効果的な手法であるバッチ正規化VAE（BN-VAE）を提案する。近似事後分布のパラメータをバッチ正規化することにより、BN-VAEは目的関数を変更せず、追加のコンポonentを追加せずとも、期待KLの下限を強制する。この手法は、言語モデリング、テキスト分類、対話生成のタスクにおいて強力なベースラインを上回り、同時に学習効率を維持する。

ABSTRACT

Variational Autoencoder (VAE) is widely used as a generative model to approximate a model's posterior on latent variables by combining the amortized variational inference and deep neural networks. However, when paired with strong autoregressive decoders, VAE often converges to a degenerated local optimum known as "posterior collapse". Previous approaches consider the Kullback Leibler divergence (KL) individual for each datapoint. We propose to let the KL follow a distribution across the whole dataset, and analyze that it is sufficient to prevent posterior collapse by keeping the expectation of the KL's distribution positive. Then we propose Batch Normalized-VAE (BN-VAE), a simple but effective approach to set a lower bound of the expectation by regularizing the distribution of the approximate posterior's parameters. Without introducing any new model component or modifying the objective, our approach can avoid the posterior collapse effectively and efficiently. We further show that the proposed BN-VAE can be extended to conditional VAE (CVAE). Empirically, our approach surpasses strong autoregressive baselines on language modeling, text classification and dialogue generation, and rivals more complex approaches while keeping almost the same training time as VAE.

研究の動機と目的

• 自己回帰的デコーダーを搭載したVAEにおける事後分布の崩壊問題に対処すること。これは、KLダイバージェンスが消えることによって引き起こされる。
• データセット全体にわたりKLダイバージェンスの期待値を正に保つ方法を開発することにより、退化した解を避けること。
• 固定されたKL値や追加の学習ループの制限を回避し、高い学習効率を維持すること。
• 対話生成やその他の条件付き生成タスクに適応可能な条件付きVAE（CVAE）へのアプローチの拡張。
• VAEの目的関数を変更せずに、KLダイバージェンスの分布的視点が事後分布の崩壊を防止するために十分であることを示すこと。

提案手法

• データセット全体にわたりKLダイバージェンスを分布としてモデル化し、個々のデータポイントごとに扱うのではなく、そのようにすること。
• 推論ネットワークの出力層のパラメータにバッチ正規化を適用することで、事後分布の平均と分散の分布を正則化する、バッチ正規化VAE（BN-VAE）を導入すること。
• この正則化により、期待KLダイバージェンスに正の下限が保証され、それがゼロに収束することを防ぐ。
• 新たなコンポーネントを追加せず、損失関数を変更せずとも、標準的なVAEの目的関数を維持すること。
• 同じバッチ正規化を条件付き推論ネットワークに適用することで、BN-VAEを条件付きVAE（CVAE）に拡張すること。
• ガウス事前分布をベースケースとし、ガウス近似を用いることで他の事前分布への拡張が可能である。

実験結果

リサーチクエスチョン

• RQ1 データセット全体にわたりKLダイバージェンスを分布としてモデル化することで、自己回帰的デコーダーを搭載したVAEにおける事後分布の崩壊を防げるか？
• RQ2 KL分布の期待値を正に保つことが、退化した解を避けるために十分か？
• RQ3 事後分布のパラメータに対するバッチ正規化が、VAEの目的関数を変更せずにKL分布を効果的に正則化できるか？
• RQ4 BN-VAEは、下流のNLPタスクにおいて、強力な自己回帰的ベースラインを上回り、同時に学習速度を維持できるか？
• RQ5 BN-VAEは、対話生成に適した条件付きVAEに効果的に拡張できるか？

主な発見

• BN-VAEは、自己回帰的デコーダーを搭載したVAEにおいて、学習全体にわたり安定的かつ非ゼロのKL値を示すことで、事後分布の崩壊を効果的に防止することが確認された。
• 言語モデリングでは、BN-VAEは強力な自己回帰的ベースラインを上回り、より複雑な手法と同等のBLEUスコアを達成した。
• テキスト分類では、標準VAEよりも高い精度を達成し、より複雑なモデルと同等の結果を得た。
• 対話生成では、標準CVAEよりもより関連性があり、滑らかで情報量の多い応答を生成し、関連性と情報量の点で人間評価スコアが高かった。
• 人間評価では、BN-VAEが、滑らかさ、関連性、情報量の各項目で「高」（スコア=3）と評価された応答の割合が最も高かった。
• 自動評価では、BN-VAEが標準CVAEを上回ることを示し、リCALLとコサイン類似度の指標において、より優れた応答の多様性と質を示した。