[論文レビュー] Variational Variance: Simple, Reliable, Calibrated Heteroscedastic Noise Variance Parameterization

Andrew Stirn, David A. Knowles|arXiv (Cornell University)|Jun 8, 2020

Gaussian Processes and Bayesian Inference参考文献 33被引用数 8

ひとこと要約

本稿では、回帰およびVAEにおける不均等分散のモデリングのための変分的手法を提案し、分散を事前分布を備えた潜在変数として扱うことにより、訓練の安定性とキャリブレーションの向上を図る。この手法は、予測平均および分散のキャリブレーション、サンプル品質、および事後予測チェックにおいて顕著な向上を達成するが、最先端のベースラインと比較して競争力ある尤度を維持する。

ABSTRACT

Brittle optimization has been observed to adversely impact model likelihoods for regression and VAEs when simultaneously fitting neural network mappings from a (random) variable onto the mean and variance of a dependent Gaussian variable. Previous works have bolstered optimization and improved likelihoods, but fail other basic posterior predictive checks (PPCs). Under the PPC framework, we propose critiques to test predictive mean and variance calibration and the predictive distribution's ability to generate sensible data. We find that our attractively simple solution, to treat heteroscedastic variance variationally, sufficiently regularizes variance to pass these PPCs. We consider a diverse gamut of existing and novel priors and find our methods preserve or outperform existing model likelihoods while significantly improving parameter calibration and sample quality for regression and VAEs.

研究の動機と目的

• 回帰およびVAEにおける平均と分散ネットワークの共同最適化における不安定性、特に平均予測の改善が分散推定を0に引き寄せる問題に対処すること。
• 標準的な尤度指標を超えて、きめ細やかな事後予測チェック（PPCs）を導入することで、モデルのキャリブレーションと予測性能を向上させること。
• 不均等分散性を保持し、不確実性に配慮したモデリングを可能にする、シンプルで信頼性が高くキャリブレーションされた分散パrameterizationの手法を開発すること。
• 高尤度がモデルの質を示すと仮定する傾向に対して挑戦し、特に予測分散とサンプル生成の品質が悪い場合に、尤度だけではモデルの質を正しく評価できないことを示すこと。
• 標準的なVAEの実践（例：予測分布からのサンプリングではなくデコーダ出力の平均を報告すること）が、真の不確実性を隠蔽し、モデル評価を劣化させることを示すこと。

提案手法

• 不均等分散を変分ベイズ枠組み内での潜在変数として扱い、推定の正則化を図るために分散に事前分布を導入する。
• 分散パrameterに対する変分事後分布を用いることで、原理的で微分可能な方法で不確実性を学習する。
• 事後予測チェック（PPCs）を用いて、平均および分散のキャリブレーション、予測分布の質、サンプルの現実性を評価する。
• 分散に複数の事前分布（例：ガンマ分布、VAMP、VBEM）を比較し、キャリブレーションを向上させるが尤度を損なわないものを選択する。
• 期待値のみを報告するのではなく、完全な事後予測分布 $p(x^*|x)$ からのマルコフ連鎖モンテカルロサンプリングを用いて、現実的なデータサンプルを生成する。
• 正規化された尤度、平均およびサンプルのRMSE、分散バイアス（予測分散と実測分散の乖離を測定）を用いてモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 シンプルな変分的取り扱いによる不均等分散モデリングが、尤度を超えてキャリブレーションと予測性能を向上させることができるか？
• RQ2 VAEおよび回帰における高尤度モデルが、なぜしばしば事後予測チェックに失敗するのか、特にサンプル品質と分散キャリブレーションにおいて。
• RQ3 分散を事前分布を備えた潜在変数として扱うことで、最適化の安定性と不確実性推定にどのような影響を与えるか？
• RQ4 標準的なVAEの実践（例：予測分布からのサンプリングではなくデコーダ出力の平均を報告すること）が、不確実性とサンプル品質におけるモデルの失敗をどれほど隠蔽するか？
• RQ5 統一されたフレームワークが、尤度と平均・分散キャリブレーションといった包括的なモデル評価指標を同時に改善できるか？

主な発見

• 提案された変分分散手法は、最先端のモデルを大きく上回る事後予測チェックの結果を達成し、特に平均および分散キャリブレーションにおいて顕著な向上を示したが、尤度は競争的であった。
• V3AE-Gammaバージョンは、最高の尤度（1201.95 ± 25.25）を達成し、優れたサンプル品質（分散バイアス：−8.0e−3 ± 4.1e−4、RMSE：0.12 ± 3.4e−3）を示した。
• 固定分散VAE（σ² = 0.001）は、明確な平均とサンプルを得られたが、尤度が低く、不均等分散性を欠いており、視覚的に魅力的でもあるがモデルの失敗を示していた。
• Student-VAEは最高の尤度（3134.52 ± 18.60）を達成したが、他のすべてのPPCで失敗し、認識不能なサンプルを生成し、平均・分散キャリブレーションが著しく悪かった。
• DetlefsenのVAEは、最悪の分散キャリブレーション（バイアス：9.97 ± 3.3e−4）とサンプル品質を示した。これは、定数事前分布10のため分散を過剰に推定するよう学習したためである。
• MAP-VAEおよびV3AE-Gamma手法は、高い尤度と優れたキャリブレーションを維持しており、特にV3AE-Gammaは、サンプルの現実性と不確実性推定を含め、すべての指標で優れた性能を示した。