[論文レビュー] Coupled Compound Poisson Factorization

Mehmet Emin Basbug, Barbara E. Engelhardt|arXiv (Cornell University)|Jan 9, 2017

Bayesian Methods and Mixture Models参考文献 16被引用数 4

ひとこと要約

本稿では、非無作為的かつ非無視可能な欠損データを、階層的複合ポアソン因子分解を欠損度数符号化モデルとして用い、任意のデータ生成モデル（例：ガウス・ミックス・モデル、線形回帰、行列因子分解）と結合することで、極めてスパースなデータセットにおいてモデル化する、カップルド・コン pound ポアソン要因分解（CCPF）というフレームワークを提案する。本手法は、確率的変分ベイズ推論を用いて欠損データ機構を明示的にモデル化することで、テスト尤度および予測性能を顕著に向上させる。

ABSTRACT

We present a general framework, the coupled compound Poisson factorization (CCPF), to capture the missing-data mechanism in extremely sparse data sets by coupling a hierarchical Poisson factorization with an arbitrary data-generating model. We derive a stochastic variational inference algorithm for the resulting model and, as examples of our framework, implement three different data-generating models---a mixture model, linear regression, and factor analysis---to robustly model non-random missing data in the context of clustering, prediction, and matrix factorization. In all three cases, we test our framework against models that ignore the missing-data mechanism on large scale studies with non-random missing data, and we show that explicitly modeling the missing-data mechanism substantially improves the quality of the results, as measured using data log likelihood on a held-out test set.

研究の動機と目的

• 協調フィルタリングおよび行列因子分解において特に顕著な、極めてスパースなデータセットにおける非ランダムで非無視可能な欠損データの課題に対処すること。
• 欠損データ機構を明示的にモデル化する統一された確率的フレームワークを構築し、それを無視可能であると仮定するのではなく、その機構を直接モデル化すること。
• 欠損度数機構をデータ生成モデルに統合することで、クラスタリング、予測、行列因子分解における推論品質を向上させること。
• 欠損データ機構をモデル化することで、実世界のスパースなデータセットにおいて、テスト尤度および予測性能が顕著に向上することを示すこと。
• 極度のスパarsityと複雑な欠損パターンを示す大規模データセットに適したスケーラブルな推論アルゴリズムを提供すること。

提案手法

• 階層的複合ポアソン因子分解を欠損度数符号化モデルとして用い、欠損エントリの背後にある機構を捉える、カップルドモデルを提案する。
• 共通尤度の定式化を通じて、欠損度数符号化モデルと任意のデータ生成モデル（例：ガウス・ミックス、線形回帰、PMF、HPF）を統合する。
• 大規模な設定におけるスケーラブルな事後分布推論を可能にするため、確率的変分ベイズ（SVI）アルゴリズムを導出する。
• 計算上の tractability（取り扱いやすさ）を保証するため、共役指数型分布族の事前分布と条件付き共役事後分布を用いる。
• 未観測データに依存する欠損機構（NMAR）を許容することで、非無視可能な欠損度数をモデル化し、パラメータ推定を改善する。
• フレームワークを多様なモデルに適用：クラスタリングのための混合モデル、予測のための線形回帰、協調フィルタリングのための行列因子分解。

実験結果

リサーチクエスチョン

• RQ1 スパースなデータセットにおいて、欠損データ機構を明示的にモデル化することは、クラスタリング、予測、行列因子分解タスクにおける性能向上に寄与するか？
• RQ2 非無視可能な欠損度数の状況下で、欠損データ機構を無視するモデルと、それを明示的にモデル化するモデルの性能はどのように異なるか？
• RQ3 欠損度数用の複合ポアソン因子分解と、異なるデータ生成モデルを結合することで、テスト尤度および予測精度はどの程度向上するか？
• RQ4 欠損データ機構のモデル化による改善効果は、異なるデータ生成モデル（例：GMM 対 PMF 対 回帰）やデータタイプ（連続、離散、バイナリ）によってどのように変化するか？
• RQ5 本手法フレームワークは、極度のスパarsityを示す実世界の大規模データセット（例：MovieLens、Amazon、Netflix、Yelp）に対しても、効果的にスケーラブルに適用可能か？

主な発見

• CCPFは、大規模なスパースなデータセットにおいて、評価したすべてのモデル（混合モデル、線形回帰、行列因子分解）でテストセット尤度を一貫して向上させる。
• 混合モデルの設定では、CCPF-GMMはAmazon、Netflix、Yelp、GEUVADISデータにおいてGMMを上回る性能を示すが、MovieLensではGMMがわずかに優れている。
• 行列因子分解の文脈では、CCPF-PMFがMovieLens、Amazon、Netflix、Yelpの全データセットで最高のテスト尤度を達成し、PMFおよびHPFと明確な差を示す。
• WordPressソーシャルメディアデータセットでは、ポアソンベースのモデル（HPFおよびCCPF-HPF）がガウスベースのモデル（PMFおよびCCPF-PMF）を上回る性能を示しており、応答分布の整合性の重要性が示された。
• 線形回帰の文脈では、CCPF-Regr.は標準回帰モデルと比較して、より高いテスト尤度（-1.907 対 -1.921）、低いRMSE（1.694 対 1.731）、および改善された $R^2$（0.360 対 0.333）を達成した。
• 結合効果は、分散パラメータに影響を与える機構（例：GMM）において最も顕著であり、平均パラメータ化モデル（例：PMM）ではそれほど顕著でない。これは、機構結合が分散構造に影響を与える場合に最も効果的であることを示唆している。