[論文レビュー] The continuous Bernoulli: fixing a pervasive error in variational autoencoders

Gabriel Loaiza-Ganem, John P. Cunningham|arXiv (Cornell University)|Jul 16, 2019

Generative Adversarial Networks and Image Synthesis被引用数 22

ひとこと要約

この論文は、変分オートエンコーダー（VAEs）における[0,1]-値をとる画素データを離散ベルヌーイ分布でモデル化するという広範にわたる誤りを是正するため、[0,1]にサポートを持つ新しい連続ベルヌーイ分布を導入する。標準的なベルヌーイ分布に代えて連続ベルヌーイ分布を用いることで、複数のデータセットにおいてサンプル品質と再構成性能が向上し、この見かけ上は微小な修正がVAE学習における顕著な定量的・定性的な向上をもたらすことが示された。

ABSTRACT

Variational autoencoders (VAE) have quickly become a central tool in machine learning, applicable to a broad range of data types and latent variable models. By far the most common first step, taken by seminal papers and by core software libraries alike, is to model MNIST data using a deep network parameterizing a Bernoulli likelihood. This practice contains what appears to be and what is often set aside as a minor inconvenience: the pixel data is [0,1] valued, not {0,1} as supported by the Bernoulli likelihood. Here we show that, far from being a triviality or nuisance that is convenient to ignore, this error has profound importance to VAE, both qualitative and quantitative. We introduce and fully characterize a new [0,1]-supported, single parameter distribution: the continuous Bernoulli, which patches this pervasive bug in VAE. This distribution is not nitpicking; it produces meaningful performance improvements across a range of metrics and datasets, including sharper image samples, and suggests a broader class of performant VAE.

研究の動機と目的

• VAEsにおける連続的[0,1]-値をとる画素データを離散ベルヌーイ分布でモデル化するという広範かつ問題のある慣習に対処すること。
• データのサポートと尤度のサポートの不一致が、VAEsにおける顕著な性能低下を引き起こすことを特定すること。
• 区間[0,1]上で適切に定義された、1つのパラメータを持つ新しい連続的単一パラメータ分布（連続ベルヌーイと呼ばれる）を提案すること。
• 標準的なベルヌーイ尤度を連続ベルヌーイ尤度に置き換えることで、VAE性能に測定可能な向上が得られることを示すこと。
• 連続ベルヌーイを、より正確で高性能なVAEアーキテクチャの基盤的要素として確立すること。

提案手法

• [0,1]-値をとるデータに適した尤度として連続ベルヌーイ分布を提案し、パラメータξ ∈ (0,1) を1つ用いる。
• 連続ベルヌーイの確率密度関数（PDF）を導出。p ∈ [0,1] に対して、p^ξ(1−p)^(1−ξ) に比例するが、正規化定数はξに依存する。
• VAEsにおける微分可能サンプリングと勾配推定を可能にする、連続ベルヌーイの再パラメータ化トリックを導入。
• 認識モデルおよび生成モデルの両方で、標準的なベルヌーイ尤度を連続ベルヌーイ尤度に置き換える。
• MNIST、CIFAR-10、CelebAといったベンチマークデータセットで、標準的なVAEアーキテクチャに連続ベルヌーイを適用し、標準的な訓練プロトコルを用いる。
• アブレーションスタディおよび離散ベルヌーイ尤度を用いた標準VAEとの比較を通じて、手法の有効性を検証。

実験結果

リサーチクエスチョン

• RQ1 離散ベルヌーイ尤度を用いて[0,1]-値をとる画素データをモデル化することは、実際のVAE性能にどのような影響を与えるか？
• RQ2 [0,1]上で定義された連続尤度を用いることで、離散ベルヌーイと比較してVAEのサンプル品質と再構成精度が向上するか？
• RQ3 ベルヌーイを一般化する[0,1]にサポートを持つ適切な確率分布の数学的形および正規化は何か？
• RQ4 提案された連続ベルヌーイ分布に対して、VAEsにおけるエンドツーエンド学習を可能にする微分可能な再パラメータ化スキームは存在するか？
• RQ5 連続ベルヌーイは、多様なデータセットおよびアーキテクチャにおいて一貫した性能向上をもたらすか？

主な発見

• 連続ベルヌーイ分布は、1つのパラメータを持つ[0,1]上で適切に定義された確率分布であり、連続的な画素強度の自然な尤度を提供する。
• 標準VAEにおける離散ベルヌーイ尤度を連続ベルヌーイ尤度に置き換えることで、特に高解像度生成において、よりシャープな画像サンプルが得られる。
• MNIST、CIFAR-10、CelebAの各テストセットにおいて、標準VAEよりも一貫して高い対数尤度スコアを達成する。
• 連続ベルヌーイは、データと尤度の分布の不一致を低減させ、より正確な事後分布近似を可能にする。
• 連続ベルヌーイの再パラメータ化トリックにより、追加の計算オーバーヘッドなしに安定的かつ効率的なVAEの訓練が可能になる。
• 性能向上は微小ではない。長年無視されてきたVAE設計における根本的な誤りの是正であり、定性的および定量的指標の両方で測定可能な向上を示している。