[論文レビュー] Latent Variable Modelling Using Variational Autoencoders: A survey

Vasanth Kalingeri|arXiv (Cornell University)|Jun 20, 2022

Computational and Text Analysis Methods被引用数 4

ひとこと要約

このサーベイは、潜在変数モデリングのフレームワークとしての変分オートエンコーダー（VAEs）の包括的な概要を提供し、その理論的基盤、最適化技術、および最近の進展を説明している。VAEsが不変後確率分布を近似するために変分推論をどのように使用するか、再パラメータ化とスコア関数勾配の比較、モデル容量の向上、勾配の分散低減、離散的潜在変数のモデリングのための手法をレビューしている。

ABSTRACT

A probability distribution allows practitioners to uncover hidden structure in the data and build models to solve supervised learning problems using limited data. The focus of this report is on Variational autoencoders, a method to learn the probability distribution of large complex datasets. The report provides a theoretical understanding of variational autoencoders and consolidates the current research in the field. The report is divided into multiple chapters, the first chapter introduces the problem, describes variational autoencoders and identifies key research directions in the field. Chapters 2, 3, 4 and 5 dive into the details of each of the key research areas. Chapter 6 concludes the report and suggests directions for future work. A reader who has a basic idea of machine learning but wants to learn about general themes in machine learning research can benefit from the report. The report explains central ideas on learning probability distributions, what people did to make this tractable and goes into details around how deep learning is currently applied. The report also serves a gentle introduction for someone looking to contribute to this sub-field.

研究の動機と目的

• 変分オートエンコーダー（VAEs）を、複雑なデータ分布を学習するスケーラブルな手法として、理論的かつ実用的な統合的理解を提供すること。
• VAEsにおける主な研究分野、特に改善された推論、より良いデコーダー、離散的潜在状態のモデリングを特定・分析すること。
• 再パラメータ化勾配とスコア関数勾配の間のトレードオフを説明し、勾配の分散低減と最適化の安定性に焦点を当てること。
• 正規化フロー、ベイジアン非パラメトリック法、制御変数などの最近の技術がVAEの性能と表現力の向上にどのように寄与するかをサーベイすること。
• VAEsを用いた深層生成モデリング分野に新たに参入する研究者にとっての基盤的リソースを提供すること。

提案手法

• 観測データの周辺尤度を近似するために、エビデンス下界（ELBO）を目的関数として使用する。
• 潜在変数をノイズ変数の決定的関数として表現することで、確率的ノードを介した低分散バックプロパゲーションを可能にする再パラメータ化トリックを適用する。
• 非再パラメータ化分布、特に離散的潜在変数に対してはスコア関数勾配（REINFORCE）を用い、勾配の分散低減のため制御変数を導入する。
• 階層的推論と正規化フローを導入することで、近似後確率分布の柔軟性と表現力を向上させる。
• 変分ガウス過程とベイジアン非パラメトリック法を用いて、潜在空間の非パラメトリックモデリングを可能にし、一般化性能を向上させる。
• 重要度サンプリングとモンテカルロ目的関数を適用してELBOの近似を精緻化し、トレーニングの安定性と収束性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 画像やテキストのような高次元で複雑なデータ分布をよりよくモデリングできるように、変分オートエンコーダーはどのように改善できるか？
• RQ2 VAE最適化における再パラメータ化勾配とスコア関数勾配のトレードオフは何か？また、勾配の分散を効果的に低減する方法は？
• RQ3 再パラメータ化トリックが適用できない場合、離散的潜在変数はVAEsでどのようにモデリングできるか？
• RQ4 計算コストの増加を伴わずに、推論ネットワークとデコーダーの表現力を高める技術は何か？
• RQ5 正規化フローとベイジアン非パラメトリック法は、学習された潜在表現の質と柔軟性をどのように向上させるか？

主な発見

• 再パラメータ化トリックにより、潜在変数のサンプリングプロセスを介した低分散で微分可能な勾配が得られ、連続的潜在変数に対するVAEのトレーニングは安定的かつ効率的になる。
• スコア関数勾配は、離散的変数のような非再パラメータ化分布に対しても適用可能であるが、高い分散を示す。この問題は制御変数とRao–Blackwellizationによって緩和できる。
• 正規化フローは、可逆で微分可能な写像を用いて単純なベース分布を複雑な分布に変換することで、近似後確率分布の柔軟性を顕著に向上させる。
• 階層的推論と変分ガウス過程により、より表現力があり適応的な後確率近似が可能となり、モデルの表現力と一般化性能が向上する。
• 重要度サンプリングとモンテカルロ目的関数により、周辺尤度に対する tighter 界が得られ、最適化が改善され、生成品質が向上する。
• Gumbel-Softmaxトリックのような離散的潜在変数の連続的近似により、離散的潜在変数を備えたVAEのエンドツーエンドトレーニングが微分可能に可能になる。