[論文レビュー] Fast Matrix Factorization for Online Recommendation with Implicit Feedback

Xiangnan He, Hanwang Zhang+2 more|arXiv (Cornell University)|Aug 16, 2017

Recommender Systems and Techniques参考文献 24被引用数 6

ひとこと要約

この論文は、アイテムの人気度に基づいて欠損データに重みを付けることで、効率的な最適化とリアルタイムの段階的更新を可能にする、オンライン推薦における暗黙的フィードバック向けの高速な行列分解アルゴリズムeALSを提案する。均一な重み付けや学習率のチューニングに依存せずに、ユーザーの好みを効果的にモデル化することで、オフラインおよびオンラインの両設定で最先端の手法を上回る性能を達成する。

ABSTRACT

This paper contributes improvements on both the effectiveness and efficiency of Matrix Factorization (MF) methods for implicit feedback. We highlight two critical issues of existing works. First, due to the large space of unobserved feedback, most existing works resort to assign a uniform weight to the missing data to reduce computational complexity. However, such a uniform assumption is invalid in real-world settings. Second, most methods are also designed in an offline setting and fail to keep up with the dynamic nature of online data. We address the above two issues in learning MF models from implicit feedback. We first propose to weight the missing data based on item popularity, which is more effective and flexible than the uniform-weight assumption. However, such a non-uniform weighting poses efficiency challenge in learning the model. To address this, we specifically design a new learning algorithm based on the element-wise Alternating Least Squares (eALS) technique, for efficiently optimizing a MF model with variably-weighted missing data. We exploit this efficiency to then seamlessly devise an incremental update strategy that instantly refreshes a MF model given new feedback. Through comprehensive experiments on two public datasets in both offline and online protocols, we show that our eALS method consistently outperforms state-of-the-art implicit MF methods. Our implementation is available at https://github.com/hexiangnan/sigir16-eals.

研究の動機と目的

• 暗黙的フィードバックの行列分解における欠損データに対する均一な重み付けの限界を解消し、人気のないアイテムの情報量が低く見積もられるのを防ぐ。
• 速度を損なわせることなく、非一様に重み付けされた欠損データを処理できる効率的な最適化アルゴリズムを開発する。
• 動的なユーザー・アイテム相互作用に対応するため、段階的更新戦略を設計することで、リアルタイムでのオンライン学習を可能にする。
• 勾配ベースのオンラインMFにおける主要なボトル neck である学習率のチューニングの必要性を排除する。
• 新しいフィードバックの適応的重み付けにより、短期的および長期的ユーザーの関心をバランスさせる。

提案手法

• 欠損エントリにアイテムの人気度に比例する重みを割り当てる人気度に配慮した重み付け方式を提案し、それが真の負例である可能性を反映する。
• eALS（要素ごとの交互最小二乗法）を提案する。これは座標降下に基づくアルゴリズムであり、メモ化を活用することで、1回の更新あたりO(K)の時間計算量を達成する。ここでKは潜在要因の数である。
• 新しいフィードバックの到着に伴いモデルパラメータを効率的に更新する段階的更新メカニズムを導入し、リアルタイムでの適応を可能にする。
• 各座標更新ステップで正確な最小二乗解を用いることで、学習率のハイパーパrameterを排除し、コストの高いラインサーチを回避する。
• 新しい相互作用の動的重み付けを可能にするために、eALSフレームワークを拡張し、短時間と長期のユーザーの関心をバランスさせるために調整可能なパラメータ$w_{\text{new}}$を導入する。
• ユーザー要因およびアイテム要因の両方に対して座標降下を採用し、計算的に効率的でスケーラブルな閉形式の更新を実現する。

実験結果

リサーチクエスチョン

• RQ1 アイテムの人気度に基づく非一様な欠損データの重み付けは、暗黙的フィードバック設定における行列分解モデルの精度を向上させることができるか？
• RQ2 計算コストの増加を著しく伴わずに、重みが変動する欠損データを処理できる効率的な最適化アルゴリズムを設計できるか？
• RQ3 提案されたeALSアルゴリズムは、オンライン推薦システムにおけるリアルタイムの段階的更新をサポートするか？
• RQ4 eALSは、オフラインおよびオンラインの推薦ベンチマークにおいて、既存の最先端手法を上回る性能を示すか？
• RQ5 新しいフィードバックの適応的重み付けは、ユーザーの短期的関心と長期的関心のモデル化にどのように影響を与えるか？

主な発見

• eALSは1回の更新あたりO(K)の時間計算量を達成しており、標準的なALSのK倍速く、動的MF手法と同等の性能を示し、リアルタイムデプロイメントを可能にする。
• オンライン学習において、eALSはAmazonおよびYelpの両データセットでRCDおよびBPRを一貫して上回り、統計的に有意な改善（p < 0.001）を示す。
• コールドスタートユーザーにおいても、最初の相互作用後すぐにモデル性能が著しく向上し、スパースなユーザーのフィードバックに効果的に適応していることが示された。
• 新しい相互作用の重み（$w_{\text{new}}$）を約4に設定した際に最適な性能が達成され、短期的および長期的ユーザーの関心のバランスが取れていることが示された。
• 人気度に基づく重み付け方式は、均一な重み付けよりもユーザーの好みの表現が優れている。特に、可視性は高いがクリック率が低いアイテムに対して顕著である。
• eALSはデータのスパarsityに強く、新しいユーザーの相互作用に迅速に適応することで、コールドスタート問題を効果的に緩和する。