[論文レビュー] Variational Variance: Simple and Reliable Predictive Variance Parameterization

Andrew Stirn, David A. Knowles|arXiv (Cornell University)|Jun 8, 2020

Generative Adversarial Networks and Image Synthesis被引用数 4

ひとこと要約

本稿では、予測分散を潜在変数として扱い、推定された混合割合を用いることで、変分オートエンコーダー（VAEs）における予測分散をモデリングする変分的手法を提案する。これにより、頑健で非定常な不確実性推定が可能となり、既存のVAE理論およびEmpirical Bayes手法と連携することで、教師なしおよび教師ありの連続データモデリングにおける生成品質と一般化性能が向上する。

ABSTRACT

An often overlooked sleight of hand performed with variational autoencoders (VAEs), which has proliferated the literature, is to misrepresent the posterior predictive (decoder) distribution's expectation as a sample from that distribution. Jointly modeling the mean and variance for a normal predictive distribution can result in fragile optimization where the ultimately learned parameters can be ineffective at generating realistic samples. The two most common principled methods to avoid this problem are to either fix the variance or use the single-parameter Bernoulli distribution--both have drawbacks, however. Unfortunately, the problem of jointly optimizing mean and variance networks affects not only unsupervised modeling of continuous data (a taxonomy for many VAE applications) but also regression tasks. To date, only a handful of papers have attempted to resolve these difficulties. In this article, we propose an alternative and attractively simple solution: treat predictive variance variationally. Our approach synergizes with existing VAE-specific theoretical results and, being probabilistically principled, provides access to Empirical Bayes and other such techniques that utilize the observed data to construct well-informed priors. We extend the VAMP prior, which assumes a uniform mixture, by inferring mixture proportions and assignments. This extension amplifies our ability to accurately capture heteroscedastic variance. Notably, our methods experimentally outperform existing techniques on supervised and unsupervised modeling of continuous data.

研究の動機と目的

• 予測後方分布の平均をサンプルとして誤って解釈する、VAEにおける一般的だが問題のある実践を是正すること。これは信頼性のある不確実性推定を損なう。
• 特に連続的および回帰タスクにおいて、平均と分散の共同最適化の脆さを克服すること。
• 固定分散またはベルヌーイベースの分散モデリングの代替として、確率的原理に基づいた代替手法を開発すること。これらは顕著な制限を抱えている。
• VAMP事前分布を拡張し、混合割合と割り当てを推定することで、非定常分散の正確なモデリングを可能とすること。

提案手法

• 予測分散を変分分布によってモデリングする潜在変数として扱い、不確かな最適化をエンドツーエンドで可能にする。
• 混合割合と成分割り当てを推定することで、VAMP事前分布を拡張し、柔軟でデータ駆動型の非定常分散モデリングを可能にする。
• 各成分が異なる分散レベルに対応するエキスパート混合形式の定式化を採用し、混合重みをデータから学習する。
• 平均と分散の両方における不確実性を考慮した変分下界を介して、分散モデリングをVAE目的関数に統合する。
• 観測データを用いて分散の事前分布を情報化することで、Empirical Bayes手法を活用し、事前分布のキャリブレーションを改善する。
• 本手法を教師なしVAEおよび教師あり回帰タスクに適用し、広範な適用可能性を示す。

実験結果

リサーチクエスチョン

• RQ1 予測分散の変分パrameterizationは、VAEにおける生成サンプルの信頼性と現実性を向上させることができるか？
• RQ2 平均と分散のネットワークの共同最適化は、連続データモデリングにおけるモデルの安定性と性能にどのように影響するか？
• RQ3 VAMPに類似した事前分布における推定された混合割合と割り当ては、非定常不確実性推定をどの程度向上させるか？
• RQ4 本手法は、教師なしおよび教師あり設定において、固定分散およびベルヌーイベースの分散モデリングを上回るか？
• RQ5 本手法は、事前分布のキャリブレーションと一般化を向上させるために、Empirical Bayes手法と効果的に組み合わせることができるか？

主な発見

• 提案手法は、連続データの教師なしモデリングにおいて、既存の手法と比較して優れた生成品質を達成し、特に複雑な分散構造を捉える能力に優れている。
• 回帰タスクにおいて、非定常不確実性を学習することで、固定分散またはベルヌーイ分散を用いるベースラインを上回る頑健性を示した。
• VAMP事前分布における混合割合と割り当ての推定は、データ駆動型の分散パターンを捉える能力を著しく向上させた。
• 観測データから導かれるwell-informedな事前分布を提供するため、Empirical Bayes手法の効果的利用が可能になった。
• 実験により、アプローチが安定的かつスケーラブルであり、多様な連続データモデリングタスクで一貫した改善が得られることを確認した。