[論文レビュー] Variational Auto-Decoder

Amir Zadeh, Yao Chong Lim+2 more|arXiv (Cornell University)|Mar 3, 2019

Topic Modeling参考文献 19被引用数 9

ひとこと要約

本稿では、多次元正規分布近似事後分布に対する勾配ベース推論を用いることで、エンコーダーの必要性を回避する生成モデルフレームワーク「変分自己復元器（VAD）」を提案する。MCMCサンプリングに代えて効率的な勾配上昇を使用することにより、計算コストを低減し、高次元の潜在空間における複雑な最適化を可能にし、欠損値を含む多モーダルデータのモデリングにおいて、VAEを上回る性能を発揮する。

ABSTRACT

Learning a generative model from partial data (data with missingness) is a challenging area of machine learning research. We study a specific implementation of the Auto-Encoding Variational Bayes (AEVB) algorithm, named in this paper as a Variational Auto-Decoder (VAD). VAD is a generic framework which uses Variational Bayes and Markov Chain Monte Carlo (MCMC) methods to learn a generative model from partial data. The main distinction between VAD and Variational Auto-Encoder (VAE) is the encoder component, as VAD does not have one. Using a proposed efficient inference method from a multivariate Gaussian approximate posterior, VAD models allow inference to be performed via simple gradient ascent rather than MCMC sampling from a probabilistic decoder. This technique reduces the inference computational cost, allows for using more complex optimization techniques during latent space inference (which are shown to be crucial due to a high degree of freedom in the VAD latent space), and keeps the framework simple to implement. Through extensive experiments over several datasets and different missing ratios, we show that encoders cannot efficiently marginalize the input volatility caused by imputed missing values. We study multimodal datasets in this paper, which is a particular area of impact for VAD models.

研究の動機と目的

• 欠損値を含むデータからの生成モデルの学習という課題に対処すること。
• 補完された欠損値に起因する入力のばらつきに対処する際、従来のエンコーダーの制限を回避するフレームワークの開発。
• MCMCサンプリングを勾配上昇に置き換えることで、潜在空間モデリングにおける推論コストを低減すること。
• VAEがエンコーダー由来の近似誤差により苦戦する多モーダルデータに対して、性能を向上させること。
• 部分的データ生成のための、単純でスケーラブルかつ効率的なVAEの代替手段を提供すること。

提案手法

• VADは、潜在変数推論に多次元正規分布近似事後分布を用いた変分ベイズフレームワークを採用する。
• MCMCサンプリングに代えて勾配上昇を用いることで、潜在変数を最適化し、計算コストを顕著に低減する。
• エンコーダーを排除した確率的デコーダーを用いることで、入力依存の推論ネットワークの必要性を排除する。
• 最適化手法を活用して潜在空間上で直接推論を実行し、潜在表現の高い自由度を活かす。
• フレームワークは実装が単純である一方で、複雑な最適化戦略のサポートも可能に設計されている。
• 複数のデータセットと異なる欠損データ比率を用いて、耐性とスケーラビリティを評価する。

実験結果

リサーチクエスチョン

• RQ1 部分的データを扱う際、エンコーダーを省略しても生成モデルが効果的に学習可能か。
• RQ2 潜在変数モデリングにおいて、勾配ベース推論はMCMCサンプリングに比べて効率性と性能で優れているか。
• RQ3 従来のVAEエンコーダーが、補完された欠損値に起因する入力のばらつきをどれほどうまく処理できないか。
• RQ4 VADは標準VAEと比較して、多モーダルデータセットでどれほど優れた性能を発揮するか。
• RQ5 エンコーダーを欠損させることで、高次元かつ欠損値を含む状況下での生成モデリング性能が向上するか。

主な発見

• VADは、特にエンコーダー由来のバイアス低減のおかげで、欠損値を含む多モーダルデータセットにおいて、標準VAEを上回る優れた性能を発揮する。
• MCMCサンプリングの代わりに勾配上昇を用いることで、推論時間と計算コストを低減しながらも、高品質な潜在表現を維持できる。
• エンコーダーが補完された欠損値に起因する入力のばらつきを適切にマージナライズできず、生成品質を低下させることを示した。
• フレームワークの単純さとエンコーダーの欠如により、実装や複雑な最適化手法への拡張が容易になる。
• 複数のデータセットと欠損率を用いた実験により、VADが現実の部分的データ設定において耐性とスケーラビリティを示した。
• 勾配上昇による直接的な潜在空間最適化が、MCMCベース推論よりも速度と生成忠実度の両面で優れていることをモデルが示した。