[論文レビュー] Flexible and Hierarchical Prior for Bayesian Nonnegative Matrix Factorization

Jun Lü, Xuanyu Ye|arXiv (Cornell University)|May 23, 2022

Face and Expression Recognition被引用数 5

ひとこと要約

本稿では、畳み込み正規分布を用いた柔軟な階層的事前分布を導入することで、潜在要因の非負性を強制する、新しいベイジアン非負値行列分解モデルGRRNを提案する。この手法は、MovieLens 100K や 1M といったスパースデータセットにおいて、予測精度を向上させるとともに、過学習を低減する。従来のベイジアンおよび非確率的NMF手法を上回り、特にデータスパarsityが高く、モデルの複雑さが増す状況下でも優れた性能を示す。

ABSTRACT

In this paper, we introduce a probabilistic model for learning nonnegative matrix factorization (NMF) that is commonly used for predicting missing values and finding hidden patterns in the data, in which the matrix factors are latent variables associated with each data dimension. The nonnegativity constraint for the latent factors is handled by choosing priors with support on the nonnegative subspace. Bayesian inference procedure based on Gibbs sampling is employed. We evaluate the model on several real-world datasets including MovieLens 100K and MovieLens 1M with different sizes and dimensions and show that the proposed Bayesian NMF GRRN model leads to better predictions and avoids overfitting compared to existing Bayesian NMF approaches.

研究の動機と目的

• 協調フィルタリングおよび要因分析におけるベイジアンNMFのハイパーパrameter選択の課題に対処すること。
• 明示的な制約ではなく、事前分布を用いて自然に非負性を強制する確率的NMFフレームワークの開発。
• データが極めて不完全な状況下でも、一般化性能を向上させ、過学習を低減すること。
• 計算効率が良く、解釈性があり、さまざまなデータスパarsityおよび潜在次元数の変動にわたって安定した性能を示すベイジアンNMF手法の提供。

提案手法

• 潜在要因が畳み込み正規（ガウス）分布から抽出される階層的事前分布構造を採用し、非負性を保証する。
• 非負性は明示的な制約ではなく、事前分布の選択によって強制され、ギブスサンプリングを用いた完全なベイジアン推論が可能になる。
• 尤度関数は観測済みエントリのみに定義され、欠損データを損失関数から除外するためにマスク行列が使用される。
• 共役事前分布に基づく条件付き分布を導出し、効率的なギブスサンプリングが可能な完全に指定されたグラフィカルモデルが採用される。
• 畳み込み正規分布のスケールパラメータにハイパーパラメータを導入することで、自動正則化と解釈可能性が実現される。
• 推論手順では、ギブスサンプリングを用いて潜在要因の事後分布を計算し、不確実性の定量化と整合的なモデル比較が可能になる。

実験結果

リサーチクエスチョン

• RQ1 非負値行列分解における非負性は、どのように事前分布を用いてより自然かつ柔軟に強制できるか？
• RQ2 階層的事前分布構造は、特に高いデータスパarsity下で、一般化性能の向上と過学習の低減に寄与するか？
• RQ3 提案されたGRRNモデルは、実世界のスパースデータセットにおける予測性能について、既存のベイジアンおよび非確率的NMF手法と比較してどのように異なるか？
• RQ4 畳み込み正規事前分布の使用は、標準的な共役事前分布と比較して、収束性および汎化性能を向上させるか？

主な発見

• GRRNモデルは、ホールドアウトテストセットにおいて最小の平均二乗誤差（MSE）を達成し、特に高スパarsity下でもMSEが1.05に安定している。MovieLens 100Kでは、98％のデータが欠損している状況でも同様に安定している。
• 97％のデータが欠損している状況では、GRRNのMSEは1.05であるが、GTTNおよびGTTモデルは著しく劣った性能を示しており（それぞれ5452.18および2650.21）、顕著な差が見られる。
• 潜在次元数Kを20から50に増加させても、GRRNモデルは優れた汎化性能を維持し、モデルの複雑さに対して強いロバストネスを示している。
• 非確率的NMFとは異なり、GRRNはスパarsityレベルやデータセットサイズの変化に関わらず一貫した性能を示しており、過学習が顕著に抑制されている。
• GEEと比較して、GRRNは収束性とインサンプル性能に優れており、インサンプルフィットが良好でも過学習に陥らない。
• 階層的事前分布構造のおかげで、一般化性能が向上しており、97％および98％の未観測データ割合においても安定した性能を示しており、過学習が低減されていることが裏付けられている。