[論文レビュー] Variational auto-encoders with Student's t-prior

Najmeh Abiri, Mattias Ohlsson|arXiv (Cornell University)|Apr 6, 2020

Generative Adversarial Networks and Image Synthesis被引用数 7

ひとこと要約

本稿では、多変量スチューデントス・t分布を事前分布として用いる変分オートエンコーダー（VAE）を提案し、ロバストネスと画像再構成品質の向上を図る。t分布のパラメータの微分可能トレーニングを可能とする暗黙的再パラメータ化を活用することで、特にデータ欠損や汚染状況下でも、標準的なガウス事前分布を用いるVAEに比べ、よりシャープで詳細な再構成が達成される。Fashion-MNISTデータセットを用いた評価で、SSIMスコアがより高くなることが確認された。

ABSTRACT

We propose a new structure for the variational auto-encoders (VAEs) prior, with the weakly informative multivariate Student's t-distribution. In the proposed model all distribution parameters are trained, thereby allowing for a more robust approximation of the underlying data distribution. We used Fashion-MNIST data in two experiments to compare the proposed VAEs with the standard Gaussian priors. Both experiments showed a better reconstruction of the images with VAEs using Student's t-prior distribution.

研究の動機と目的

• 標準的なガウス事前分布の代わりに多変量スチューデントス・t分布を用いることで、変分オートエンコーダーのロバストネスと生成品質を向上させること。
• 暗黙的再パラメータ化を用いて、位置、尺度、自由度パラメータを微分可能にすることで、スチューデントス・t事前分布のエンドツーエンドトレーニングを可能にすること。
• 特に高い汚染レベル下での画像再構成および欠損値補完性能を評価すること。
• 柔軟な重い尾を持つ事前分布が、ガウス事前分布に比べて一般化性能が向上し、よりシャープな再構成が得られることを示すこと。

提案手法

• VAEは潜在変数の事前分布として多変量スチューデントス・t分布を用い、そのパラメータ（位置μ、尺度σ、自由度ν）はエンコーダーネットワークによって予測される。
• スチューデントス・t分布はスケールミックス表現を用いて再パラメータ化される：z = μ + σ * x / sqrt(χ²/ν)，ここでx ~ N(0, I) かつ χ² ~ Gamma(ν/2, 0.5)。
• 自由度パラメータνを通過する勾配をバックプロパゲート可能にするために、ガンマ分布のCDFの暗黙的微分が用いられ、エンドツーエンドトレーニングが可能になる。
• 変分事後分布とスチューデントス・t事前分布のKLダイバージェンスは、ディガンマ関数を用いて解析的に計算され、正規化定数の対数項については数値積分が用いられる。
• 再構成のための交差エントロピー損失と、導出されたKLダイバージェンスを正則化項として用い、確率的勾配降下法でモデルを訓練する。
• ハイパーパramータは検証セットの選択によりチューニングされ、テストデータにおける性能はSSIMインデックスで評価される。

実験結果

リサーチクエスチョン

• RQ1 ガウス事前分布に比べ、スチューデントス・t事前分布を用いることで、VAEにおける画像再構成品質が向上するか？
• RQ2 スチューデントス・t分布の適応的尾の厚さが、VAEにおける外れ値および欠損データに対するロバストネスを向上させるか？
• RQ3 暗黙的再パラメータ化を用いることで、学習可能なスチューデントス・t事前分布を用いたVAEのエンドツーエンドトレーニングは可能か？
• RQ4 汚染されたFashion-MNISTデータにおいて、スチューデントス・t事前分布を用いたVAEとガウス事前分布VAEの間で、SSIMスコアに差があるか？

主な発見

• 78%のピクセル汚染状態下で、スチューデントス・t事前分布を用いたVAE（VAE-St）は、平均SSIMが0.831を達成した。これに対してガウス事前分布VAE（VAE-G）は0.678にとどまり、顕著な優位性を示した。
• 視覚的評価により、VAE-StはVAE-Gに比べて、特に汚染度の高い状況下でも、ぼやけが少なく、よりシャープで詳細な再構成を生成することが確認された。
• 完全なFashion-MNISTデータセット上でも、VAE-StはVAE-Gよりも高品質な再構成を生成しており、SSIMと視覚的忠実度の両面で向上が確認された。
• スチューデントス・t事前分布VAEのトレーニングコストは、ガウスバージョンに比べてわずかに上昇したが、GPU推論時間の差は無視できるほど小さかった。
• 自由度パラメータの学習により、尾の厚さが適応的に調整され、外れ値および欠損データに対するロバストネスが向上した。