[論文レビュー] Factorization Machines for Data with Implicit Feedback

Babak Loni, Martha A. Larson+1 more|arXiv (Cornell University)|Dec 19, 2018

Recommender Systems and Techniques参考文献 18被引用数 4

ひとこと要約

本稿では、暗黙的フィードバックデータセットに最適化された因子分解マシンのペairワイズ学習・ランキング適合版であるFM-Pairを提案する。標準のポイントワイズ損失に代えてBPRにインspiredされたペアワイズ目的関数を採用することで、FM-Pairは標準のFMsやBPR-MFといった最先端手法を上回る順序付け性能を発揮するが、線形の計算量とスケーラビリティを維持する。

ABSTRACT

In this work, we propose FM-Pair, an adaptation of Factorization Machines with a pairwise loss function, making them effective for datasets with implicit feedback. The optimization model in FM-Pair is based on the BPR (Bayesian Personalized Ranking) criterion, which is a well-established pairwise optimization model. FM-Pair retains the advantages of FMs on generality, expressiveness and performance and yet it can be used for datasets with implicit feedback. We also propose how to apply FM-Pair effectively on two collaborative filtering problems, namely, context-aware recommendation and cross-domain collaborative filtering. By performing experiments on different datasets with explicit or implicit feedback we empirically show that in most of the tested datasets, FM-Pair beats state-of-the-art learning-to-rank methods such as BPR-MF (BPR with Matrix Factorization model). We also show that FM-Pair is significantly more effective for ranking, compared to the standard FMs model. Moreover, we show that FM-Pair can utilize context or cross-domain information effectively as the accuracy of recommendations would always improve with the right auxiliary features. Finally we show that FM-Pair has a linear time complexity and scales linearly by exploiting additional features.

研究の動機と目的

• 実世界のレコメンデーションシステムで一般的な暗黙的フィードバックデータを処理する際、標準の因子分解マシン（FMs）の限界を解消すること。
• ポイントワイズ最適化と信頼性の低いネガティブサンプリングに起因する順序付け最適化に失敗する、単純な暗黙的から明示的へのマッピングの欠陥を克服すること。
• FMsの表現力と線形計算量を維持しながら、順序付けタスクに有効なスケーラブルで汎用的なモデルを開発すること。
• 文脈やクロスドメインアイテム特徴といった補助特徴を統合することで、文脈に依存するおよびクロスドメインの協調フィルタリングの文脈でFM-Pairの有効性を示すこと。
• FM-Pairが要因分解次元および特徴数に対して線形にスケーリングするか、大規模応用に適しているかを示すこと。

提案手法

• 因子分解マシンを、ベイジアンパーソナライズドランク（BPR）基準にインspiredされたペアワイズ順序付け損失関数を用いるように適合させ、標準のポイントワイズ回帰損失を置き換える。
• 最適化目的関数を、正例のユーザ-アイテム相互作用の予測スコアをネガティブ（サンプリングされた）相互作用のスコアよりも大きくするように定式化し、順序付け性能を向上させる。
• 元のFM構造を維持する。これには、ユーザ、アイテム、および補助特徴を共通の潜在空間に因子分解する構造が含まれ、モデルの一般性と表現力を保つ。
• ユーザおよびアイテムと同じ潜在空間にマップすることで、文脈（例：時間、場所）およびクロスドメインアイテム特徴といった補助特徴を統合する。
• 確率的勾配降下法を用いてペアワイズ順序付け目的関数でモデルを学習し、1サンプルあたりO(k)の線形時間計算量を保証する。ここでkは非ゼロ特徴量の数である。
• BPR-MF や標準の FMs との一貫した比較を可能にするために、再現性のある評価を実施するためのWrapRecツールキットを活用する。

実験結果

リサーチクエスチョン

• RQ1 標準のポイントワイズ学習と比較して、ペアワイズ最適化目的関数は、暗黙的フィードバックデータセットにおける因子分解マシンの順序付け性能を向上させるか？
• RQ2 BPR-MF といった最先端の学習・ランキング手法と比較して、FM-Pair は暗黙的フィードバックデータにおいて精度とスケーラビリティの面で優れているか？
• RQ3 FM-Pair は、協調フィルタリングタスクにおいて文脈やクロスドメイン情報といった補助特徴をどれほど効果的に活用できるか？
• RQ4 単純な暗黙的フィードバックから明示的ラベルへのマッピング（例：クリックは+1、非相互作用は0）は、FMs において劣悪な順序付け性能をもたらすか？
• RQ5 FM-Pair は、要因分解次元および補助特徴数の増加に伴ってどのようにスケーリングするか？また、線形時間計算量を維持するか？

主な発見

• FM-Pair は、明示的フィードバックデータで学習された場合でも、ペアワイズ最適化目的関数のおかげで、標準の因子分解マシンを著しく上回る順序付け性能を発揮する。
• 4つの実世界の暗黙的フィードバックデータセットにおいて、FM-Pair は、暗黙的フィードバック順序付けの最先端手法であるBPR-MFを上回る高い精度を達成する。
• 潜在的要因の数および補助特徴数の両面において、FM-Pair は線形的なスケーラビリティを示し、トレーニング時間の増加が小さいことを確認した。
• Frappé のような人気度に偏ったデータセットでは、アイテムバイアスを組み込むことで性能が著しく向上し、暗黙的フィードバック環境におけるバイアスモデリングの重要性を示した。
• FM-Pair は、文脈やクロスドメインアイテム特徴といった補助特徴を効果的に活用し、モデルの再設定を必要とせずに一貫した性能向上を達成した。
• 標準のFMsが使用するポイントワイズ損失と比較して、FM-Pair のペアワイズトレーニング目的関数は、ネガティブサンプルが信頼性の低い場合でも、より良い収束性と順序付け品質をもたらした。