[論文レビュー] A Closed-Form EM Algorithm for Sparse Coding

Jörg Lücke, Abdul-Saboor Sheikh|arXiv (Cornell University)|May 12, 2011

Blind Source Separation Techniques参考文献 14被引用数 5

ひとこと要約

本論文は、連続的潜在変数とスパイクアンドスラブ事前分布およびガウスノイズを用いたスパースコーディングのための最初の閉形式EMアルゴリズムを提案する。確率的PCAを一般化することで、EステップおよびMステップの両方の解析的解を導出し、潜在的な多モーダルな事後分布のすべてのモードを完全に探索可能にするとともに、隠れ次元の増加に伴う指数的スケーリングにもかかわらず、音源分離タスクで競争力ある性能を達成する。

ABSTRACT

We define and discuss the first sparse coding algorithm based on closed-form EM updates and continuous latent variables. The underlying generative model consists of a standard `spike-and-slab' prior and a Gaussian noise model. Closed-form solutions for E- and M-step equations are derived by generalizing probabilistic PCA. The resulting EM algorithm can take all modes of a potentially multi-modal posterior into account. The computational cost of the algorithm scales exponentially with the number of hidden dimensions. However, with current computational resources, it is still possible to efficiently learn model parameters for medium-scale problems. Thus the model can be applied to the typical range of source separation tasks. In numerical experiments on artificial data we verify likelihood maximization and show that the derived algorithm recovers the sparse directions of standard sparse coding distributions. On source separation benchmarks comprised of realistic data we show that the algorithm is competitive with other recent methods.

研究の動機と目的

• 連続的潜在変数を用いたスパースコーディングのための閉形式EM更新式を構築すること。
• スパイクアンドスラブ事前分布とガウスノイズに基づく生成モデルを用いてスパース表現をモデル化すること。
• 潜在的に多モーダルな事後分布のすべてのモードを考慮できるようにアルゴリズムを設計すること。
• 隠れ次元の増加に伴う指数的計算スケーリングにもかかわらず、中規模問題に対して効率的なパラメータ学習を達成すること。

提案手法

• 確率的PCAを拡張することで、EMアルゴリズムのEステップおよびMステップにおける閉形式解を導出する。
• 潜在変数のスパarsityを誘導するためにスパイクアンドスラブ事前分布を用いる。
• 観測ノイズをガウス分布としてモデル化することで、解析的取り扱いを可能にする。
• Eステップにおいて、事後分布の平均および共分散の正確な解析的更新式を導出する。
• Mステップにおいて、モデルパラメータ（例：基底ベクトルおよびノイズ分散）の閉形式更新式を導出する。
• 正確な推論ステップにより、多モーダルな事後分布の完全な探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 連続的潜在変数とスパイクアンドスラブ事前分布を用いたスパースコーディングに対して、閉形式EMアルゴリズムを導出できるか？
• RQ2 得られたアルゴリズムは、潜在的に多モーダルな事後分布のすべてのモードを効果的に捉えることができるか？
• RQ3 人工データにおける尤度最大化およびスパース方向の回復性能は、どのように評価されるか？
• RQ4 最近の手法と比較して、現実的な音源分離ベンチマークにおけるアルゴリズムの実験的性能はいかがなものか？

主な発見

• 人工データにおいて尤度を適切に最大化し、最適解への収束を確認した。
• 導出されたアルゴリズムは、標準的なスパースコーディングの分布に特徴的なスパース方向を回復した。
• 現実的なデータを用いた音源分離ベンチマークにおいて、最近の最先端手法と同等の性能を達成した。
• 隠れ次元の増加に伴う指数的計算スケーリングにもかかわらず、中規模問題に対しては効率的であった。
• 閉形式更新式により正確な事後分布推論が可能となり、多モーダルな事後分布の完全な探索が実現した。
• スパイクアンドスラブ事前分布とガウスノイズを組み合わせた生成モデルは、安定的かつ解釈可能なスパースコーディングをサポートした。