[論文レビュー] Simple and Effective VAE Training with Calibrated Decoders

Oleh Rybkin, Kostas Daniilidis+1 more|arXiv (Cornell University)|Jun 23, 2020

Digital Media Forensic Detection参考文献 65被引用数 35

ひとこと要約

本論文はVAEの校正済みデコーダを分析し、解析的分散推定を備えたsigma-VAEを導入し、βハイパーパラメータのチューニングを排除しつつ、画像およびビデオデータセット全体で生成品質を向上させることを示している。

ABSTRACT

Variational autoencoders (VAEs) provide an effective and simple method for modeling complex distributions. However, training VAEs often requires considerable hyperparameter tuning to determine the optimal amount of information retained by the latent variable. We study the impact of calibrated decoders, which learn the uncertainty of the decoding distribution and can determine this amount of information automatically, on the VAE performance. While many methods for learning calibrated decoders have been proposed, many of the recent papers that employ VAEs rely on heuristic hyperparameters and ad-hoc modifications instead. We perform the first comprehensive comparative analysis of calibrated decoder and provide recommendations for simple and effective VAE training. Our analysis covers a range of image and video datasets and several single-image and sequential VAE models. We further propose a simple but novel modification to the commonly used Gaussian decoder, which computes the prediction variance analytically. We observe empirically that using heuristic modifications is not necessary with our method. Project website is at https://orybkin.github.io/sigma-vae/

研究の動機と目的

• 手動の beta tuning を用いずに、校正済みデコーダが VAE の性能に与える影響を評価する。
• 良くキャリブレーションされた不確実性と安定した訓練を生み出すデコーダのパラメータ化を特定する。
• デコーダの分散を設定する簡潔で解析的な手法を開発し、それを勾配ベース学習と比較する。
• 複数の画像および動画データセットとモデルタイプに対して、校正済みデコーダを評価する。

提案手法

• Gaussianデコーダおよび離散デコーダのさまざまな校正済みデコーダアーキテクチャをレビューおよび比較する。
• 単一の共有分散を持つGaussianデコーダと解析的な最適分散定式化（sigma-VAE）を提案する。
• 校正済みデコーダをbeta-VAEに関連付け、校正がデコーダ不確実性の考慮に対応することを示す。
• 目的関数 L = D ln sigma + (D/(2 sigma^2)) MSE(x, x̂) + KL(q(z|x)||p(z)) を導出する。
• ピクセル単位、画像単位、共有分散デコーダを検討し、安定性とMIおよび prior match への影響を分析する。
• SVHN、CelebA、CIFAR、および BAIR SVG を対象として、単一画像および逐次VAEモデルで経験的に評価する。

実験結果

リサーチクエスチョン

• RQ1 デコーダをキャリブレーションすると、データセットやアーキテクチャを問わずKL重み betaのチューニングを不要にできるか？
• RQ2 どのデコーダパラメータ化が、VAEsにおいて良くキャリブレーションされた不確実性と安定した訓練を生み出すか？
• RQ3 デコーダ分散の解析的解が学習速度とサンプル品質を向上させるか？
• RQ4 校正済みデコーダは潜在変数の情報量とprior整合性にどのような影響を与えるか？
• RQ5 ELBO、FID、サンプル品質の観点から、ピクセル単位と共有分散の実用的なトレードオフは何か？

主な発見

• 校正済みデコーダは manual beta tuning を必要とせず、beta-VAEと同等以上の性能を達成でき、ELBOとサンプル品質を向上させる。
• 共有分散を持つGaussianデコーダ（sigma-VAE）は、単一分散デコーダや調整済みbeta-VAE設定よりしばしば優れている。
• 解析的最適分散解（optimal sigma-VAE）は、勾配学習された分散より高速な収束と高い対数尤度をもたらす。
• ピクセル単位の分散デコーダは、共有または画像単位のバリエーションと比べてサンプル品質とprior alignmentを損なう可能性がある。
• 最適 sigma ベースの手法は、複数のデータセットとモデルタイプにおいて強力なELBOとサンプル品質を達成する。