[論文レビュー] Scalable Gaussian Process Variational Autoencoders

Jazbec, Metod, Matthew Ashman+4 more|arXiv (Cornell University)|Oct 26, 2020

Gaussian Processes and Bayesian Inference参考文献 57被引用数 16

ひとこと要約

本稿では、誘導点に基づく新しいハイブリッドスパース推論アプローチを用いて、効率的なミニバッチ学習とエンド・ツー・エンド最適化を可能にするスケーラブルなガウス過程変分オートエンコーダー（GP-VAE）を提案する。この手法により、計算量の複雑性をO(N³)からO(bm² + m³)に低減するが、高い精度を維持し、アーキテクチャの変更なしに任意のカーネル選択とデータ型をサポートする。

ABSTRACT

Conventional variational autoencoders fail in modeling correlations between data points due to their use of factorized priors. Amortized Gaussian process inference through GP-VAEs has led to significant improvements in this regard, but is still inhibited by the intrinsic complexity of exact GP inference. We improve the scalability of these methods through principled sparse inference approaches. We propose a new scalable GP-VAE model that outperforms existing approaches in terms of runtime and memory footprint, is easy to implement, and allows for joint end-to-end optimization of all components.

研究の動機と目的

• 正確なGP推論に依存する既存のGP-VAEモデルが直面するスケーラビリティの制限を解消すること。
• 既存のスパースGP手法がメモリ制約やアンモタイズド推論の制約により、GP-VAEにおけるミニバッチ学習とアンモタイズド推論をサポートできない問題を解決すること。
• すべてのモデル部品（GPハイパーパramータとVAEパラメータ）の共同エンド・ツー・エンド最適化を可能にする汎用的でカーネルに依存しないフレームワークを開発すること。
• 理論的に根拠があり、実装が容易な解決策を提供し、メモリと実行時間のコストを大幅に削減しながら高いパフォーマンスを維持すること。

提案手法

• 誘導点における変分推論とアンモタイズド推論を組み合わせたハイブリッドスパースGP近似を提案し、ミニバッチ処理とエンド・ツー・エンド学習を両立する。
• Hensmanら（2013）の確率的変分推論フレームワークをGP-VAEに適応するため、誘導点を用いて潜在関数の変分事後分布を再定義する。
• VAEエンコーダ、デコーダ、GP事前分布の共同最適化を可能にする、GPマージナル尤度の微分可能近似に基づく下界を導出する。
• VAEの推論ネットワークによってパrameter化される構造的変分事後分布を用いて、すべてのデータポイントにおけるアンモタイズド推論を可能にする。
• 再パラメータライゼーショントリックを用いてGP事前分布をバックプロパゲーション可能にし、すべてのモデル部品の勾配ベース最適化を可能にする。
• GP事前分布とVAE目的関数を統合した新しいELBO定式化を導入し、GPハイパーパramータとVAEパラメータの共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 スパースGP近似を、GP-VAEモデルにおけるミニバッチ処理とアンモタイズド推論の両方に適合させることは可能か？
• RQ2 GP-VAEの計算複雑性をO(N³)からO(bm² + m³)に低減するが、モデルの表現力に影響を与えず、カーネル固有の設計を必要とせずに実現可能か？
• RQ3 すべての部品（GPハイパーパramータを含む）の共同エンド・ツー・エンド最適化を可能にする汎用的でカーネルに依存しないGP-VAEフレームワークを構築可能か？
• RQ4 本手法は、正確な推論に依存する既存のGP-VAEモデルや特殊なカーネルを用いる手法と比較して、性能と効率性において優れているか？

主な発見

• 提案されたGP-VAEは、O(N³)からO(bm² + m³)への顕著な計算複雑性の低減を達成し、大規模データセットにおけるスケーラブルな学習を可能にする。
• 複数のベンチマークにおいて高いパフォーマンスを維持し、実行時間とメモリ効率の点で既存のGP-VAE手法を上回る。
• GPハイパーパramータを含むすべての部品の共同エンド・ツー・エンド最適化をサポートするが、従来の手法とは異なりGPパラメータを固定するか別段階での最適化を要する。
• 実験結果から、誘導点の数を増やしてもモデルの一般化性能が良好であることが示され、高次元では近似のバイアスがわずかに増加するが、大きな影響はない。
• 実装が容易で、トレーニング手順に特別な変更を加える必要がなく、実務家にとっても利用しやすい。