[論文レビュー] Automatic Relevance Determination For Deep Generative Models

Theofanis Karaletsos, Gunnar Rätsch|arXiv (Cornell University)|May 28, 2015

Gaussian Processes and Bayesian Inference参考文献 19被引用数 6

ひとこと要約

本論文は、深層生成モデルにおける冗長な潜在次元を自動でプルーニングするため、自動関連決定（ARD）を組み込んだ二重確率的変分推論フレームワークを提案する。潜在変数の重みに因子的事前分布を置き、確率的勾配推定を用いることで、モデル性能を損なわずにコン act で解釈可能な表現を達成する。ベンチマークデータ上で高い尤度を維持しつつ顕著な潜在空間の圧縮を実現した。

ABSTRACT

A recurring problem when building probabilistic latent variable models is regularization and model selection, for instance, the choice of the dimensionality of the latent space. In the context of belief networks with latent variables, this problem has been adressed with Automatic Relevance Determination (ARD) employing Monte Carlo inference. We present a variational inference approach to ARD for Deep Generative Models using doubly stochastic variational inference to provide fast and scalable learning. We show empirical results on a standard dataset illustrating the effects of contracting the latent space automatically. We show that the resulting latent representations are significantly more compact without loss of expressive power of the learned models.

研究の動機と目的

• 手動でのハイパーパrameterチューニングなしに、深層生成モデルにおける最適な潜在空間次元の決定という課題に取り組む。
• 原理的な正則化を通じて、データ駆動的に不要な潜在次元を自動でプルーニングすることを可能にする。
• 潜在変数上の関連マスクを学習することで、モデルのコンパクト性と解釈可能性を向上させる。
• 効率的な確率的勾配推論を用いて、ARDを深層生成モデルにスケーラブルに適用する。

提案手法

• 推論ネットワークの重みに階層的事前分布を置き、潜在次元におけるスパarsityを促進することで、自動関連決定（ARD）を適用する。
• 再パラメータ化勾配を用いて、潜在変数およびモデルパラメータの事後分布を再現する二重確率的変分推論（SGVB）を用いる。
• 潜在次元ごとに因子的事前分布を導入することで、個々の次元の関連性を推定可能とし、一部の次元を実質的にプルーニング可能にする。
• 潜在変数と勾配推定器の確率的性質の両方を統合した変分下界を導出し、エンドツーエンドの学習を可能にする。
• 2つの変種を導入する：SGVB-ARD（勾配ベース）とGSGVB-ARD（解析的に統合されたもの）で、勾配の安定性と収束特性に差が生じる。
• モンテカルロサンプルからの勾配推定を用いた確率的最適化でモデルを学習し、高次元データへのスケーラビリティを実現する。

実験結果

リサーチクエスチョン

• RQ1 ARDを深層生成モデルに効果的に適用することで、潜在空間の有効次元を自動的に同定できるか？
• RQ2 ARDに基づくプルーニングは、モデル尤度、再構成品質、および潜在空間のコンパクト性にどのように影響を与えるか？
• RQ3 ARDを組み込んだ二重確率的変分推論は、標準的なSGVBと比較して、学習の安定性と収束性にどのような影響を与えるか？
• RQ4 ARDが学習する関連マスクは、潜在表現の解釈性を向上させるか？
• RQ5 特にデータが少ない状況下で、初期の潜在空間サイズに依存してARDの性能はどのように変化するか？

主な発見

• SGVB-ARDは潜在次元を効果的にプルーニングし、実験では初期の200または400ユニットからわずか9程度の有効次元にまで次元を削減した。
• 標準的なSGVBと比較して、訓練およびテストデータの両方でより高い尤度を達成しており、一般化性能の向上を示している。
• GSGVB-ARDはSGVB-ARDよりもより安定した学習ダイナミクスを示し、勾配ノイズが少なく、収束が滑らかであるが、完全収束までに長時間要する。
• ARDにより、上位層の重みが強く圧縮されていることが示され、圧縮効果が生成ネットワーク全体に伝播していることがわかる。
• ARDを用いて学習されたモデルは、顕著にコンパクトな表現を達成しながらも、高品質な再構成を維持している。
• 明示的な正則化がなくてもSGVBは潜在次元をプルーニングする傾向を学習しており、ARDが自然なコンパクト性へのインダクティブバイアスを強化していると考えられる。