[論文レビュー] Beta Process Non-negative Matrix Factorization with Stochastic Structured Mean-Field Variational Inference

Dawen Liang, Matthew D. Hoffman|arXiv (Cornell University)|Nov 7, 2014

Blind Source Separation Techniques参考文献 9被引用数 8

ひとこと要約

本稿では、ポアソン尤度を伴うベータ過程非負値行列分解（NMF）における非共役・非パラメトリックベイズ推論を可能にする、確率的構造的平均場変分推論（SSMF）アルゴリズムを提案する。この手法は、潜在変数（マスク、成分、活性化）間の依存関係を回復し、従来の平均場アプローチを上回り、盲目的音源分離タスクにおいてギブスサンプリングと同等の性能を達成する。

ABSTRACT

Beta process is the standard nonparametric Bayesian prior for latent factor model. In this paper, we derive a structured mean-field variational inference algorithm for a beta process non-negative matrix factorization (NMF) model with Poisson likelihood. Unlike the linear Gaussian model, which is well-studied in the nonparametric Bayesian literature, NMF model with beta process prior does not enjoy the conjugacy. We leverage the recently developed stochastic structured mean-field variational inference to relax the conjugacy constraint and restore the dependencies among the latent variables in the approximating variational distribution. Preliminary results on both synthetic and real examples demonstrate that the proposed inference algorithm can reasonably recover the hidden structure of the data.

研究の動機と目的

• 非共役ベータ過程NMFにポアソン尤度を適用した場合の、効率的で構造的な推論手法の不足を解消すること。
• 標準的な平均場変分推論が潜在変数間の依存関係を破壊し、局所最適解に陥るという限界を克服すること。
• ベータ過程事前分布を用いてデータから成分数を推定可能な、非パラメトリックで非負の行列分解を可能にすること。
• 実音声データを用いた盲目的音源分離タスクにおいて、変分推論における構造的依存関係の利点を実証すること。
• 非共役NMFモデルに対して、ギブスサンプリングのスケーラブルな代替手段を提供し、収束性を向上させ、計算コストを低減すること。

提案手法

• スパarsityを強制するための二値マスク S を組み込んだ、切り捨てられたベータ過程NMFモデルを定式化し、ポアソン尤度を適用する。
• マスク S が与えられたもとで条件付き共役性を回復させるために、補助変数 Z を導入し、扱いやすい変分推論を可能にする。
• 局所変数（Z_t, s_t）とグローバル変数（W, H, π）をグループ化することで、確率的構造的平均場（SSMF）変分推論を適用し、局所変数とグローバル変数の間の依存関係を許容する。
• 因子分解された変分分布を用いる：W と H に対してガンマ分布、π に対してベータ分布、W, H, π を条件とした Z_t と s_t の結合分布。
• 時間点 T のミニバッチを用いた確率的最適化により、下界確率（ELBO）を最大化する。
• ポアソン変数の加法性を活用し、構造的近似のもとで変分パラメータの閉形式更新を導出する。

実験結果

リサーチクエスチョン

• RQ1 構造的平均場変分推論は、ポアソン尤度を伴う非共役ベータ過程NMFモデルにおいて、隠れた構造を効果的に回復できるか？
• RQ2 二値マスク S、潜在的成分 W、活性化 H 間の依存関係を回復させることで、標準的な平均場手法に比べて推論品質が向上するか？
• RQ3 提案されたSSMFアルゴリズムは、実世界の盲目的音源分離タスクにおいて、ギブスサンプリングおよび従来の変分手法に比べてどのように性能を発揮するか？
• RQ4 事前分布のハイパーパrameterが H と S のスパarsityパターンに与える影響は何か？また、H と S 間の冗長性を避けるにはどのように調整できるか？
• RQ5 SSMFは、漸近的に正確なギブスサンプリングに近い性能を達成しつつ、著しく高速化できるか？

主な発見

• SSMFアルゴリズムは、合成NMFデータにおいて真の潜在構造を効果的に回復し、非共役性に対しても頑健であることが示された。
• MIREX F0推定データセットでは、SSMFは平均SDR 1.84（±0.92）、SIR 6.95（±1.80）、SAR 4.82（±0.32）を達成し、盲目的音源分離タスクにおいて競争力のある性能を示した。
• ギブスサンプリングはより高い性能（SDR: 3.58、SIR: 13.46）を示したが、実行時間は約2倍であった。これは、精度と効率のトレードオフを示している。
• 活性成分数（K）は、SSMFでは37、ギブスサンプリングでは60であった。これは、SSMFが過学習や誤った成分の発見に対してより耐性がある可能性を示唆している。
• モデル仮定の違いにもかかわらず、Liangら（2013）のラプラス近似を用いた先行研究を上回る性能を示した。これは、推論品質の向上を示している。
• Hの事前分布に対して c = d = 5 を設定することで、H と S 間の冗長性を防ぎ、スパarsityが主に二値マスク S によって捉えられるようになる。これは意図した設計に合致している。