[論文レビュー] A Variational Autoencoder for Probabilistic Non-Negative Matrix Factorisation

Steven Squires, Adam Prügel‐Bennett+1 more|arXiv (Cornell University)|Jun 13, 2019

Generative Adversarial Networks and Image Synthesis参考文献 17被引用数 6

ひとこと要約

本稿では、不確実性推定、データ生成、整合的な正則化を可能にするために、非負値行列分解（NMF）と確率的推論を統合した変分オートエンコーダー、PAE-NMFを提案する。非負の重みを強制し、潜在空間に非負のワイブル分布を用いることで、不確実性の定量化と、サンプリングによる新規データ生成が可能なスパースで部品ベースの表現を学習する。標準NMFより解釈可能性と生成能力に優れる。

ABSTRACT

We introduce and demonstrate the variational autoencoder (VAE) for probabilistic non-negative matrix factorisation (PAE-NMF). We design a network which can perform non-negative matrix factorisation (NMF) and add in aspects of a VAE to make the coefficients of the latent space probabilistic. By restricting the weights in the final layer of the network to be non-negative and using the non-negative Weibull distribution we produce a probabilistic form of NMF which allows us to generate new data and find a probability distribution that effectively links the latent and input variables. We demonstrate the effectiveness of PAE-NMF on three heterogeneous datasets: images, financial time series and genomic.

研究の動機と目的

• 不確実性推定とデータ生成を可能にする非負値行列分解（NMF）の確率的拡張を開発すること。
• NMFのインダクティブバイアス（スパarsityと部品ベース表現）を、ディープ生成モデルの枠組みに統合すること。
• 手動での事前分布選択を必要とせず、高価なMCMC推論を避ける、原理的で微分可能な正則化機構（KLダイバージェンス項）を提供すること。
• 自動微分やGPUアクセラレーションなどのディープラーニングツールを用いて、実用的でスケーラブルな推論を可能にすること。
• 画像、金融時系列、ゲノムなど多様なデータタイプにおいて、モデルの有効性を実証すること。

提案手法

• 非負の活性化関数を隠れ層に用いる深層オートエンコーダー構造を採用し、非負の潜在表現を強制する。
• 最終層の重みを非負に制約することで、NMFフレームワークにおける基底ベクトルとして解釈可能になる。
• 潜在変数 $ \mathbf{h} $ の上に変分事後分布 $ q_{\phi}(\mathbf{h}|\mathbf{x}) $ を学習し、事前分布として非負のワイブル分布を用いる。
• 再構成損失（データの対数尤度）と、変分事後分布と事前分布の間のKLダイバージェンス項を組み合わせた目的関数を採用し、エンドツーエンドの学習を可能にする。
• 潜在分布からの確率的サンプリングによりデータ生成が可能であり、KL項が自動正則化を提供する。
• 自動微分を用いたバックプロパゲーションにより学習を実行し、GPU上で効率的な最適化を実現する。

実験結果

リサーチクエスチョン

• RQ1 変分オートエンコーダーを非負値行列分解に適応させることで、部品ベースでスパースな表現を保持しつつ、その性質を維持できるか？
• RQ2 NMFに確率的推論を組み込むことで、決定的NMFに比べて不確実性推定とデータ生成が向上するか？
• RQ3 VAEの目的関数におけるKLダイバージェンス項が、手動での事前分布選択を不要とし、原理的で自動的な正則化機構として機能するか？
• RQ4 画像、金融時系列、ゲノムなどの異種データタイプにおいて、モデルの性能と解釈可能性はどのように比較されるか？
• RQ5 モデルの記述長目的関数を用いて、原理的でデータ駆動な方法で最適な潜在次元数を選択できるか？

主な発見

• PAE-NMFモデルは、NMFの部品ベースでスパースな性質を保持する非負で確率的な潜在表現を効果的に学習する。
• KLダイバージェンス項のおかげで、潜在分布の分散が保たれ、標準NMFに陥るのを防ぐ。
• 類似したデータ（例：顔画像）は類似した潜在分布を示し、モデルが意味的な構造を捉えていることが示唆される。
• 学習済み潜在分布からのサンプリングにより、顔画像やFTSE 100株価時系列の両方で妥当な新規データサンプルが生成された。
• 目的関数が自動正則化を可能にするとともに、記述長を用いた潜在次元数の選択を支援し、ハイパーパrameterへの感受性を低減する。
• 再構成精度と一般化性能のバランスを図り、完全ベイズ的手法に比べて高速かつスケーラブルな学習が実現された。