[論文レビュー] Probabilistic Autoencoder

Vanessa Böhm, Uroš Seljak|arXiv (Cornell University)|Jun 9, 2020

Generative Adversarial Networks and Image Synthesis参考文献 42被引用数 9

ひとこと要約

確率的オートエンコーダー（PAE）は、まず再構築誤差を最小化する標準的なオートエンコーダーを訓練し、その後に学習された潜在空間に正規化フローを適用してその確率分布をモデル化する二段階の生成モデルを導入する。VAEと比較して、変分推論やハイパーパramータチューニングを必要とせず、より高速な学習、より低い再構築誤差、競争力のあるサンプル品質を達成する。同時に、潜在空間の密度推定を用いた有効な外れ値検出も可能である。

ABSTRACT

Principal Component Analysis (PCA) minimizes the reconstruction error given a class of linear models of fixed component dimensionality. Probabilistic PCA adds a probabilistic structure by learning the probability distribution of the PCA latent space weights, thus creating a generative model. Autoencoders (AE) minimize the reconstruction error in a class of nonlinear models of fixed latent space dimensionality and outperform PCA at fixed dimensionality. Here, we introduce the Probabilistic Autoencoder (PAE) that learns the probability distribution of the AE latent space weights using a normalizing flow (NF). The PAE is fast and easy to train and achieves small reconstruction errors, high sample quality, and good performance in downstream tasks. We compare the PAE to Variational AE (VAE), showing that the PAE trains faster, reaches a lower reconstruction error, and produces good sample quality without requiring special tuning parameters or training procedures. We further demonstrate that the PAE is a powerful model for performing the downstream tasks of probabilistic image reconstruction in the context of Bayesian inference of inverse problems for inpainting and denoising applications. Finally, we identify latent space density from NF as a promising outlier detection metric.

研究の動機と目的

• 変分推論やハイパーパramータチューニングの複雑さを回避し、単純で安定的かつ容易に訓練可能な生成モデルを開発すること。
• 正規化フローを用いてオートエンコーダーの潜在空間の真の確率分布を学習することで、再構築品質とサンプル生成品質を向上させること。
• 変分推論に依存せずに、確率的画像ノイズ除去、穴埋め補完、異常検出などの堅牢な下流応用を可能にすること。
• 正規化フローによる潜在空間の密度推定に基づく新しい外れ値検出指標を導入すること。これは従来のVAEのELBOベースの手法を凌駕する。

提案手法

• 再構築誤差を最小化するように標準的なオートエンコーダーを訓練し、低次元の潜在表現を最適化すること。
• 訓練済みエンコーダーの潜在空間に正規化フローを適用し、潜在変数の完全な確率分布を学習すること。
• 正規化フローを用いて、可逆的かつ微分可能な変換を通じて単純なベース分布を変換することでサンプルを生成すること。
• 正規化フローの対数尤度を確率的推論（再構築の不確実性や密度推定など）に活用すること。
• ELBOを歪み、レート、エントロピー、交差エントロピーの項に分解し、外れ値検出性能の分析と比較を行うこと。
• 正規化フローによる潜在空間の密度を、新しい有効な分布外検出指標として活用すること。

実験結果

リサーチクエスチョン

• RQ1 まずオートエンコーダーを再構築のために訓練し、その後にその潜在空間の分布を正規化フローで学習する二段階的手法は、エンドツーエンドのVAEよりも優れた性能を達成できるか？
• RQ2 ELBOのハイパーパramータチューニングを必要とせず、VAEよりも低い再構築誤差とより高速な学習を達成できるか？
• RQ3 潜在空間における正規化フローの密度は、VAEのELBOに比べて優れた外れ値検出指標として機能するか？
• RQ4 PAEは、確率的画像ノイズ除去や穴埋め補完などの下流タスクにおいて、VAEと比較して優れた性能を示すか？
• RQ5 特に表現力の高い正規化フローを用いた場合に、過学習や記憶のリスクに対しPAEフレームワークは頑健であるか？

主な発見

• PAEはすべての評価済みデータセットでVAEよりも著しく高速に学習が行われ、低い再構築誤差を達成している。
• PAEは特別な訓練手順やハイパーパramータの冷却が必要なく、VAEと同等の高品質なサンプルを生成している。
• 正規化フローによる潜在空間密度推定は、外れ値検出においてELBOを上回り、MNISTではAUROC 0.9970、Omniglotでは0.9736を達成した。
• ELBOの交差エントロピー項は潜在密度と相関しており、分布外検出の信頼性の高い指標である。flow-VAEにおけるMNISTのAUROC値は最大0.9963に達した。
• PAEフレームワークは逆問題におけるベイズ推論を有効に可能にし、確率的画像ノイズ除去と穴埋め補完において優れた性能を示した。
• 潜在空間における正規化フローに基づく密度推定は、一般化性に優れ、VAEにNF事前分布を適用する場合にも有効な外れ値検出指標である。