[論文レビュー] Deep Mixtures of Factor Analysers

Yichuan Tang, Ruslan Salakhutdinov+1 more|arXiv (Cornell University)|Jun 18, 2012

Gaussian Processes and Bayesian Inference参考文献 13被引用数 33

ひとこと要約

本稿では、有向グラフィカルモデルを用いた深層密度モデルのための、グリーディで段階的な学習手法として、Deep Mixtures of Factor Analysers (DMFA) を提案する。要因分析器を積み重ね、下位層の負荷行列を上位層で共有することにより、DMFA は多様なデータセットにおいて MFA や RBM よりも優れた生成モデル性能を達成し、パラメータ共有のおかげで効率性が向上し、過学習が軽減される。

ABSTRACT

An efficient way to learn deep density models that have many layers of latent variables is to learn one layer at a time using a model that has only one layer of latent variables. After learning each layer, samples from the posterior distributions for that layer are used as training data for learning the next layer. This approach is commonly used with Restricted Boltzmann Machines, which are undirected graphical models with a single hidden layer, but it can also be used with Mixtures of Factor Analysers (MFAs) which are directed graphical models. In this paper, we present a greedy layer-wise learning algorithm for Deep Mixtures of Factor Analysers (DMFAs). Even though a DMFA can be converted to an equivalent shallow MFA by multiplying together the factor loading matrices at different levels, learning and inference are much more efficient in a DMFA and the sharing of each lower-level factor loading matrix by many different higher level MFAs prevents overfitting. We demonstrate empirically that DMFAs learn better density models than both MFAs and two types of Restricted Boltzmann Machine on a wide variety of datasets.

研究の動機と目的

• 教師なし表現学習のためのスケーラブルで効率的な深層密度モデルの開発。
• データの階層的構造を捉えることが難しい浅いモデル（MFA や RBM）の限界を克服すること。
• 要因分析器を用いた深層有向モデルにおける効果的なグリーディで段階的な学習の実現。
• 複数の上位層の混合にわたるパラメータ共有を通じて、過学習を低減すること。
• MFA や RBM と比較して優れた密度推定性能を実証的に示すこと。

提案手法

• 各層を逐次的に学習する、Deep Mixtures of Factor Analysers (DMFA) のためのグリーディで段階的な学習アルゴリズムを提案。各層は、直前の層からの事後分布サンプルを用いて学習される。
• 各層が、上位層で共有される要因負荷行列を有する混合要因分析器から成る有向グラフィカルモデル構造を採用。
• 各層における事後分布の近似に変分推論を適用し、得られたサンプルを次の層の入力として使用。
• 同様の浅いモデルとは異なり、層間で要因負荷行列を乗算する必要がないため、効率的な学習と推論が可能。
• 各下位層の要因負荷行列が、複数の上位層の混合に利用されるようにパラメータ共有を実装し、過学習を低減。
• 各層が要因分析コンponentsを通じて、徐々に抽象的表現を学習する階層的生成プロセスを採用。

実験結果

リサーチクエスチョン

• RQ1 要因分析器を用いたグリーディで段階的なアプローチにより、深層生成モデルを効率的に学習できるか？
• RQ2 複数の上位層の混合にわたるパラメータ共有が、過学習とモデル一般化性能に与える影響は何か？
• RQ3 深層混合構造は、MFA や RBM といった浅いモデルよりも密度推定性能に優れているか？
• RQ4 逐次的学習が表現品質および尤度性能に与える影響は何か？
• RQ5 モデルの表現能力を向上させながらも、計算効率を維持できるか？

主な発見

• DMFA は、多様なデータセットにおいて、MFA や2種類の Restricted Boltzmann Machines と比較して顕著に優れた尤度スコアを達成。
• グリーディで段階的な学習戦略により、完全な同時最適化の計算負荷を回避し、効率的な学習と推論が可能。
• 上位層の混合にわたるパラメータ共有により、過学習が低減され、特にデータが限られた深層アーキテクチャにおいて顕著。
• MFA が要因負荷行列の乗算により同等化された場合でさえ、DMFA の性能が上回る。
• 実証的結果から、DMFA はベースラインモデルよりもより表現力があり、階層的な表現を学習していることが確認された。
• モデルは、深く階層的な生成モデリングを可能にしつつ、計算効率を維持している。