[論文レビュー] Bayesian and L1 Approaches to Sparse Unsupervised Learning

Shakir Mohamed, Katherine Heller+1 more|arXiv (Cornell University)|Jun 6, 2011

Sparse and Compressive Sensing Techniques参考文献 28被引用数 30

ひとこと要約

本稿では、スパースな教師なし学習におけるL1正則化の優れた代替手法として、スパイス・アンド・スラブベイジアン要因モデルを提案する。点質量（スパイス）と連続的分布（スラブ）を組み合わせた離散混合事前分布を用いることで、スパース性を強制しつつも非ゼロパラメータ値を保持する。その結果、L1正則化や連続的事前分布を用いたベイジアン手法と比較して、固定計算予算下でもホールドアウトデータに対する予測性能が著しく優れている。

ABSTRACT

The use of L1 regularisation for sparse learning has generated immense research interest, with successful application in such diverse areas as signal acquisition, image coding, genomics and collaborative filtering. While existing work highlights the many advantages of L1 methods, in this paper we find that L1 regularisation often dramatically underperforms in terms of predictive performance when compared with other methods for inferring sparsity. We focus on unsupervised latent variable models, and develop L1 minimising factor models, Bayesian variants of "L1", and Bayesian models with a stronger L0-like sparsity induced through spike-and-slab distributions. These spike-and-slab Bayesian factor models encourage sparsity while accounting for uncertainty in a principled manner and avoiding unnecessary shrinkage of non-zero values. We demonstrate on a number of data sets that in practice spike-and-slab Bayesian methods outperform L1 minimisation, even on a computational budget. We thus highlight the need to re-assess the wide use of L1 methods in sparsity-reliant applications, particularly when we care about generalising to previously unseen data, and provide an alternative that, over many varying conditions, provides improved generalisation performance.

研究の動機と目的

• L1正則化が広く用いられているにもかかわらず、スパースな教師なし学習においてその性能が不十分である傾向を批判的に評価すること。
• L0ノルムの不正則な性質をよりよく近似する、スパイス・アンド・スラブ事前分布を用いた原理的で整合性のあるスパース性のベイジアンアプローチを開発すること。
• L1最適化、連続的スパース誘導事前分布を用いたベイジアン手法、スパイス・アンド・スラブベイジアンモデルの3つのアプローチを、さまざまな教師なし学習タスクにおいて比較すること。
• スパイス・アンド・スラブモデルが、特に高次元またはスパースなデータ環境下で、優れた一般化性能と再構成精度を達成することを示すこと。
• 一般の潜在変数モデルに適用可能な、効率的なMCMC推論アルゴリズムを提供すること。

提案手法

• 指数型分散族に適合する一般化された潜在変数モデルフレームワークを提案し、因子分析を非正規分布や異質なデータに拡張可能にする。
• スパイス・アンド・スラブ事前分布として、ゼロにおける点質量（スパイス）と連続的分布（スラブ）の混合を導入し、強いスパース性を実現するとともに非ゼロパラメータ推定値を保持する。
• スパイス・アンド・スラブモデルの完全なマルコフ連鎖モンテカルロ（MCMC）推論アルゴリズムを開発し、単純なサンプリング手法よりも効率性を向上させる。
• 共役指数型分布事前分布を用いて、ガウス分布、バイナリ分布、カウントデータを含む、教師なし行列因子分解問題にこの手法を適用する。
• 固定時間予算下で、L1最小化、連続的事前分布を用いたベイジアンモデル、スパイス・アンド・スラブベイジアンモデルの性能を、制御された環境下で比較する。
• 過学習がL1ベースの手法で一般的に見られるのを避けるために、周辺尤度と交差検証を用いてハイパーパrameterをチューニングする。

実験結果

リサーチクエスチョン

• RQ1 L1正則化は、未観測データに対する予測性能において、スパイス・アンド・スラブ事前分布を用いたベイジアン手法を常に上回るのか？
• RQ2 スパイス・アンド・スラブ事前分布は、L1正則化や連続的事前分布を用いたベイジアン手法と比較して、高次元データにおける真のスパース構造をよりよく捉えることができるのか？
• RQ3 固定時間予算下で、L1最適化と比較した場合、MCMCベースのスパイス・アンド・スラブ推論の計算コストはどの程度か？
• RQ4 L1正則化や連続的事前分布を用いたベイジアン手法が直面する「関連パラメータの過剰な縮小」を、スパイス・アンド・スラブモデルはどの程度回避できるのか？
• RQ5 どのような状況下で、スパイス・アンド・スラブアプローチがデータのスパarsityおよび高次元性に対してロバストであると示せるのか？

主な発見

• スパイス・アンド・スラブベイジアンモデルは、テキスト、画像、ゲノムデータを含む多様なデータセットにおいて、ホールドアウトデータに対する予測性能がL1正則化や連続的事前分布を用いたベイジアン手法を一貫して上回る。
• HapMapデータセットでは、特に要因次元数Kが高くなると、スパイス・アンド・スラブモデルがL1手法よりも顕著に低いRMSEを達成し、スパarsityに強いことが示された。
• L1収束時間と同等の固定時間予算下でも、スパイス・アンド・スラブMCMCはL1よりも優れた再構成を達成しており、単位時間あたりの情報獲得効率が優れていることが示された。
• L1手法は、データ生成に寄与する非ゼロパラメータを抑制するグローバルな縮小のため、しばしば性能が劣る。
• スパイス・アンド・スラブモデルは、グローバルおよびローカルな縮小を両立させることで、この問題を回避し、重要なパラメータ値を保持する。
• 再構成における非ゼロパラメータ数は、スパイス・アンド・スラブモデルでより正確に推定され、Newsgroupsデータでは1436個の非ゼロパラメータが得られ、真のスパースレベルに近く、L1手法では構造の回復に失敗した。