[論文レビュー] Ordinal Non-negative Matrix Factorization for Recommendation

Olivier Gouvert, Thomas Oberlin+1 more|arXiv (Cornell University)|Jun 1, 2020

Recommender Systems and Techniques参考文献 31被引用数 8

ひとこと要約

本稿では、レコメンデーションシステムにおける順序データを二値化せずにレーティングや量子化された相互作用をモデル化する、新しい非負値行列分解法であるOrdNMFを提案する。逆ガンマ分布に従うノイズを伴うしきい値付き潜在変数モデルを用いることで、二値化されたPFやBePoFよりも洗練されたデータ構造を保持し、明示的および暗黙的データの両方において優れた推薦性能とより良い事後予測適合度を達成する。

ABSTRACT

We introduce a new non-negative matrix factorization (NMF) method for ordinal data, called OrdNMF. Ordinal data are categorical data which exhibit a natural ordering between the categories. In particular, they can be found in recommender systems, either with explicit data (such as ratings) or implicit data (such as quantized play counts). OrdNMF is a probabilistic latent factor model that generalizes Bernoulli-Poisson factorization (BePoF) and Poisson factorization (PF) applied to binarized data. Contrary to these methods, OrdNMF circumvents binarization and can exploit a more informative representation of the data. We design an efficient variational algorithm based on a suitable model augmentation and related to variational PF. In particular, our algorithm preserves the scalability of PF and can be applied to huge sparse datasets. We report recommendation experiments on explicit and implicit datasets, and show that OrdNMF outperforms BePoF and PF applied to binarized data.

研究の動機と目的

• ユーザー・アイテム相互作用を二値化することで生じる情報損失を是正すること。
• 明示的レーティングや暗黙の再生回数に共通する順序データを、順序構造を捨てることなく生成的確率モデルとして開発すること。
• ポisson因子分解のスケーラビリティを維持しながら、しきい値付き潜在変数フレームワークを用いてより洗練された非二値順序データをモデル化すること。
• 順序カテゴリの自然な順序性を活用することで、それらを名義的または連続的とみなすのではなく、推薦精度を向上させること。
• モデル拡張を用いた変分推論アルゴリズムにより、大規模なスパースデータセットにおいても計算効率を維持しながら効率的な推論を可能にすること。

提案手法

• 順序観測値が連続的潜在変数をしきい値のシーケンスで量子化することで得られることを仮定するしきい値モデルを提案する。
• 非負値行列分解（NMF）を用いて潜在変数をモデル化し、乗法的ノイズを逆ガンマ（IG）分布から抽出する。
• 潜在要因としきい値の推定に効率的な変分推論アルゴリズムを導出するために、モデル拡張技術を用いる。
• 変分ベイズを用いて事後分布の近似を定式化し、ユーザー要因（W）、アイテム要因（H）、およびしきい値（b）の個別更新を行う。
• 明示的（例：MovieLens）および暗黙的（例：Taste Profile）データセットにアルゴリズムを適用し、量子化されたカウントを順序入力として使用する。
• アルゴリズムが非ゼロ観測数にのみ依存するように設計することで、行列サイズに依存しないスケーラビリティを確保する。

実験結果

リサーチクエスチョン

• RQ1 二値化された元の相互作用を捨てずに、順序データを効果的に処理できる非負値行列分解モデルは、レコメンデーションシステムで有効に機能するか？
• RQ2 しきい値付き潜在変数構造を用いて順序データをモデル化することは、二値化された手法や連続的回帰手法と比較して予測性能に優れているか？
• RQ3 既存の手法（BePoF や PF）と比較して、順序構造を保持することで推薦精度と事後予測適合度はどの程度向上するか？
• RQ4 提案された変分推論アルゴリズムは、現実のレコメンデーションシステムで一般的な大規模かつスパースなデータセットに効率的にスケーリング可能か？
• RQ5 モデルがしきい値を適応的に推論できることにより、高再生回数（例：50回以上）といった極端な値を、既存のモデルと比較してよりよくモデル化できるか？

主な発見

• MovieLensデータセットにおいて、OrdNMFは二値化されたデータに適用されたBePoFおよびPFを上回り、さまざまなNDCGしきい値で優れた性能を示す。
• MovieLensデータセットでは、OrdNMFはNDCGしきい値（s=1からs=10）の変動に対しても一貫した性能を維持するが、BePoFは極端なしきい値で性能が著しく低下する。
• Taste Profileデータセットでは、OrdNMFがdcPFよりも高い対数尤度を達成し、特に高値カテゴリのデータ分布に適合していることが示された。
• 事後予測チェックの結果、OrdNMFは稀な高カウント値（例：50回以上）を含む全範囲の順序カテゴリを正確にモデル化している一方、dcPFはこれらを捉えていない。
• MovieLensおよびTaste Profileデータセットの両方で、モデルの事後予測分布は実測ヒストグラムとよく一致しており、データ分布のシフトに対しても頑健であることが確認された。
• 変分推論アルゴリズムは5回以内に収束し、安定したELBOの改善が得られ、相対的増分がτ=10−5未満に低下した。