[論文レビュー] Automatic Relevance Determination in Nonnegative Matrix Factorization with the \beta-Divergence

Vincent Y. F. Tan, Cédric Févotte|arXiv (Cornell University)|Nov 25, 2011

Face and Expression Recognition被引用数 4

ひとこと要約

本稿では、β-損失を用いた自動関連性決定（ARD）を用いたベイジアン非負値行列分解（NMF）フレームワークを提案する。この手法により、モデル次数Kの自動推定が可能となる。辞書行列と活性化行列のスケールパラメータを結びつけることで、グループスパarsityを誘発し、MMアルゴリズムを用いて目的関数を単調に最小化する。その結果、合成データ、音楽、株価データにおいてベースライン手法を上回る優れた性能を達成した。

ABSTRACT

This paper addresses the estimation of the latent dimensionality in nonnegative matrix factorization (NMF) with the \beta-divergence. The \beta-divergence is a family of cost functions that includes the squared Euclidean distance, Kullback-Leibler and Itakura-Saito divergences as special cases. Learning the model order is important as it is necessary to strike the right balance between data fidelity and overfitting. We propose a Bayesian model based on automatic relevance determination in which the columns of the dictionary matrix and the rows of the activation matrix are tied together through a common scale parameter in their prior. A family of majorization-minimization algorithms is proposed for maximum a posteriori (MAP) estimation. A subset of scale parameters is driven to a small lower bound in the course of inference, with the effect of pruning the corresponding spurious components. We demonstrate the efficacy and robustness of our algorithms by performing extensive experiments on synthetic data, the swimmer dataset, a music decomposition example and a stock price prediction task.

研究の動機と目的

• 非負値行列分解（NMF）における正しいモデル次数Kの選択という重要な課題に取り組むこと。データ適合性と過学習のバランスをとる。
• β-損失ファミリーを用いたコスト関数に基づく、NMFにおける自動関連性決定（ARD）を可能にするベイジアンフレームワークの構築。
• W、H、Kを同時に推定できる、計算的に効率的で単調に減少する主要化最小化（MM）アルゴリズムの設計。
• βによる柔軟なノイズモデルの統合により、音声、画像、ファイナンシャルタイムシリーズを含む実世界データのロバスト性と性能を向上。
• 既存のヒューリスティック的またはサンプリングベースの手法を凌駕する、原理的で統一的なモデル次数選択のアプローチを提供すること。

提案手法

• Wの列とHの行を共通のスケールパラメータで結ぶ事前分布を用いるベイジアンNMFモデルを定式化し、ARDを可能にする。
• 柔軟なコスト関数としてβ-損失を用い、ユークリッド距離、カルバック・ライブラー距離、イタクラ・サイト損失を包含する。
• 目的関数の各反復で単調に減少する、MMアルゴリズムのファミリーを導出する。
• 補助関数を用いて目的関数の局所的上界を構築し、F、K、Nに関して線形計算量を持つ乗法的更新ルールを導出する。
• スケールパラメータによるグループスパarsity正則化を適用し、推論中に不要な成分を0に近づける。
• 特にF + Nに対してaが小さい値であることを前提として、ハイパーパrameter選択のためのモーメント法を導入。

実験結果

リサーチクエスチョン

• RQ1 β-損失を用いたNMFに自動関連性決定（ARD）を効果的に適用し、自動モデル次数選択を可能にすることができるか？
• RQ2 提案されたARD-NMFフレームワークは、多様なデータタイプにおいて、標準NMFや他のモデル次数選択手法と比較してどのように性能を発揮するか？
• RQ3 β-損失の柔軟性が、さまざまなノイズモデルにおいて要因分解品質とロバスト性をどのように向上させるか？
• RQ4 MMベースの最適化フレームワークは、計算効率を維持しながらも、単調収束を保証できるか？
• RQ5 欠損データを扱う能力は、株価予測タスクを通じてどの程度実証されるか？

主な発見

• ℓ2-ARD法は、株価予測タスクでNKLDが約0.2を達成し、標準KL-NMF（全K値でNKLDが0.23以上）を著しく上回った。
• 同じタスクにおいて、ℓ1-ARDはK_eff = 5のときNKLDが約0.23を記録し、KL-NMF（NKLD ≈ 0.25）を上回ったが、保持する成分が少ないにもかかわらずであった。
• モーメント法により、データ依存的なハイパーパrameter選択が有効に行われ、F + Nに対してaを小さい値に設定することが推奨された。
• スイマー・データセットおよび音楽分解の両タスクにおいて、提案手法は正しいモデル次数を回復し、ベースライン手法を上回る高品質な分解を達成した。
• ℓ2-ARD法はβとφの広い範囲でロバストであり、予測タスクではβ = 0.5およびφ = 10が最良の性能を示した。
• 欠損データ対応版のMørup & Hansenの手法（平均NKLD 0.37 ± 0.03）を上回り、データ適合性が低いことが示された。