[論文レビュー] Metric Factorization: Recommendation beyond Matrix Factorization

Shuai Zhang, Lina Yao+4 more|arXiv (Cornell University)|Feb 13, 2018

Recommender Systems and Techniques参考文献 30被引用数 31

ひとこと要約

本稿では、行列因子分解におけるドット積をユークリッド距離に置き換えることで、低次元空間におけるユーザ-アイテム関係をモデル化する新しい推薦手法、メトリック因子分解を提案する。これにより表現力と一般化性能が向上する。実験の結果、複数の実世界データセットにおいて、レーティング予測およびアイテム順序付けの両タスクで最先端のモデルを上回る性能を示した。

ABSTRACT

In the past decade, matrix factorization has been extensively researched and has become one of the most popular techniques for personalized recommendations. Nevertheless, the dot product adopted in matrix factorization based recommender models does not satisfy the inequality property, which may limit their expressiveness and lead to sub-optimal solutions. To overcome this problem, we propose a novel recommender technique dubbed as {\em Metric Factorization}. We assume that users and items can be placed in a low dimensional space and their explicit closeness can be measured using Euclidean distance which satisfies the inequality property. To demonstrate its effectiveness, we further designed two variants of metric factorization with one for rating estimation and the other for personalized item ranking. Extensive experiments on a number of real-world datasets show that our approach outperforms existing state-of-the-art by a large margin on both rating prediction and item ranking tasks.

研究の動機と目的

• 行列因子分解の限界、特にドット積に基づく類似度測定における三角不等式の欠如を解決すること。
• 共通の埋め込み空間における幾何的距離を用いてユーザおよびアイテムの関係をモデル化することで、モデルの表現力を向上させるとともに、過学習を軽減すること。
• レーティング予測およびパーソナライズドアイテム順序付けの両タスクに適用可能な統一されたフレームワークを構築すること。
• ユークリッド距離に基づくモデル化が、ドット積に基づくアプローチと比較して、より優れた一般化性能とロバスト性をもたらすことを示すこと。

提案手法

• ユーザおよびアイテムを低次元のユークリッド空間内の点として表現し、ユーザ-アイテム相互作用をそれらのペアワイズ距離によってモデル化する。
• 標準的な行列因子分解で用いられるドット積の代わりに、L2距離（ユークリッド距離）をユーザ埋め込みとアイテム埋め込み間の類似度測定に用いる。
• 2つの変種を設計：1つは距離からレーティングへの変換関数を用いたレーティング予測用、もう1つは信頼度重み付きのマージンベース損失を用いたアイテム順序付け用。
• ノイズの多いまたはスパースなフィードバック、特に暗黙的フィードバック設定においても対応できるように、ハイパーパrameter α を用いて信頼度重み付けを導入する。
• 一般化性能を向上させるために、訓練中にドロップアウト正則化を適用する。特にレーティング予測において有効である。
• L2正則化と適応的学習率を用いた確率的勾配降下法でモデルを最適化する。

実験結果

リサーチクエスチョン

• RQ1 行列因子分解におけるドット積をユークリッド距離に置き換えることで、推薦性能が向上するか？
• RQ2 距離によるユーザ-アイテム関係の幾何的解釈が、モデルの表現力および一般化性能を向上させるか？
• RQ3 レーティング予測およびアイテム順序付けの両タスクにおいて、メトリック因子分解は最先端のモデルと比較してどのように性能を発揮するか？
• RQ4 次元数、クリップ値、信頼度レベルなどのハイパーパrameter（例：次元数、クリップ値、信頼度）がモデル性能に顕著な影響を及ぼすか、そしてどのようにチューニングすべきか？
• RQ5 潜在次元数を増加させた場合でも、モデルは過学習に対してロバスト性を保っているか？

主な発見

• 複数のデータセットにおいて、レーティング予測タスクでメトリック因子分解はBiasedSVDやその他の最先端モデルと比較して有意に低いRMSEを達成した。
• アイテム順序付けタスクにおいて、モデルはWRMFや他のベースラインを一貫して上回った。特に高次元埋め込みにおいて顕著で、スケーラビリティの向上と過学習の低減が示された。
• モデルは過学習に対してよりロバストである：次元数kを増加させても性能が向上する一方で、WRMFは最適kを超えると急激に性能が低下するのと対照的であった。
• 信頼度パラメータαは、ノイズの多いレーティングへの感受性を低下させるとともに、肯定的フィードバックと否定的フィードバックの識別性能を向上させることで、モデル性能を向上させた。
• ドロップアウトはレーティング予測において性能向上に寄与したが、アイテム順序付けバージョンではあまり効果がなかった。これは、タスク間で正則化のニーズに差があることを示唆している。
• 距離スケール要因aは性能にほとんど影響を与えず、a ≈ 2.0 で最適性能が達成されたことから、モデルは広い範囲の値に対して安定であることが示された。