[論文レビュー] Robust Cost-Sensitive Learning for Recommendation with Implicit Feedback

Peng Yang, Peilin Zhao+2 more|arXiv (Cornell University)|Jul 3, 2017

Sparse and Compressive Sensing Techniques参考文献 30被引用数 4

ひとこと要約

本稿では、共通の好みを表す低ランク成分と、ユーザー固有の外れ値を表すスパース成分にユーザー・アイテム行列を分解する、頑健なコストセンシティブ行列分解フレームワークを提案する。クラス不均衡を扱うためにコストセンシティブ学習を用いる。この手法は強力な理論的境界を達成し、ベンチマークデータセット上で最先端のベースラインを上回り、FスコアおよびNDCG指標が向上する。

ABSTRACT

Recommendation is the task of improving customer experience through personalized recommendation based on users' past feedback. In this paper, we investigate the most common scenario: the user-item (U-I) matrix of implicit feedback. Even though many recommendation approaches are designed based on implicit feedback, they attempt to project the U-I matrix into a low-rank latent space, which is a strict restriction that rarely holds in practice. In addition, although misclassification costs from imbalanced classes are significantly different, few methods take the cost of classification error into account. To address aforementioned issues, we propose a robust framework by decomposing the U-I matrix into two components: (1) a low-rank matrix that captures the common preference, and (2) a sparse matrix that detects the user-specific preference of individuals. A cost-sensitive learning model is embedded into the framework. Specifically, this model exploits different costs in the loss function for the observed and unobserved instances. We show that the resulting non-smooth convex objective can be optimized efficiently by an accelerated projected gradient method with closed-form solutions. Morever, the proposed algorithm can be scaled up to large-sized datasets after a relaxation. The theoretical result shows that even with a small fraction of 1's in the U-I matrix $M\in\mathbb{R}^{n imes m}$, the cost-sensitive error of the proposed model is upper bounded by $O(\fracα{\sqrt{mn}})$, where $α$ is a bias over imbalanced classes. Finally, empirical experiments are extensively carried out to evaluate the effectiveness of our proposed algorithm. Encouraging experimental results show that our algorithm outperforms several state-of-the-art algorithms on benchmark recommendation datasets.

研究の動機と目的

• 既存の推薦手法が厳密な低ランク構造を仮定しており、非対称な誤分類コストを無視するという限界を是正すること。
• 陽性の相互作用がまれな暗黙的フィードバック行列において、同時にユーザー固有の外れ値を検出し、クラス不均衡を処理すること。
• 頑健な行列分解とコストセンシティブ学習を統合した包括的なフレームワークを構築し、推薦精度を向上させること。
• スパースな陽性フィードバック設定におけるコストセンシティブ誤差の境界について理論的保証を提供すること。
• 緩和技術を用いて大規模データセットへの効率的スケーリングを実現すること。

提案手法

• ユーザー・アイテム行列 $M$ を、共通のユーザー好みを表す低ランク行列 $M - V$ と、個々のユーザー固有の行動を表すスパース行列 $V$ に分解する。
• 低ランク成分にトレースノルム正則化を適用し、低ランク構造を強制し、スパース成分にノルム正則化を適用してスパース性を促進する。
• 観測済み（1）および未観測（0）のエントリに異なる損失重みを割り当てることで、コストセンシティブ学習モデルを組み込む。これは非対称な誤差コストを反映する。
• 滑らかでない凸目的関数を、閉形式での更新が可能な加速投影勾配法で最適化する。両成分の最適化に適した更新式を用いる。
• 最適化問題を緩和することで、収束保証を維持したまま大規模データセットへのスケーラビリティを実現する。
• 線形化されたプロキシマル法を用いて、低ランク成分とスパース成分の最適化を分離し、効率的な反復的更新を可能にする。

実験結果

リサーチクエスチョン

• RQ1 包括的なフレームワークは、暗黙的フィードバック行列における共通のユーザー好みと個別ユーザー固有の外れ値を同時にモデル化できるか？
• RQ2 コストセンシティブ学習は、暗黙的フィードバックにおいて深刻なクラス不均衡が生じる状況で、推薦性能をどのように向上させるか？
• RQ3 スパースなフィードバック設定におけるコストセンシティブ誤差に対して、どのような理論的境界を確立できるか？
• RQ4 提案手法は、精度を損なわずに大規模な推薦データセットに効率的にスケーリングできるか？
• RQ5 低ランクとスパース成分への分解は、標準的な低ランク行列分解よりも優れた一般化性能をもたらすか？

主な発見

• 提案アルゴリズムは、$O(\alpha / \sqrt{mn})$ のコストセンシティブ誤差上界を達成する。ここで $\alpha$ は、不均衡なクラスへのバイアスを定量化する。
• MovieLens-100K データセットでは、F-score@5 がベースラインの 0.2131 から 0.2172 に向上し、NDCG@15 は 0.7193 から 0.7323 に上昇した。
• より大きな MovieLens-1M データセットでは、F-score@5 が 0.1726 から 0.1805 に上昇し、NDCG@15 は 0.6524 から 0.6716 に改善された。
• 複数の評価指標において、複数の最先端ベースラインを上回り、推薦品質の一貫した向上を示した。
• 理論的分析により、$\sqrt{mn}$ が十分に大きい限り、観測されたエントリの少数であっても、正確な行列回復が可能であることが確認された。
• 閉形式解を用いた加速投影勾配法により、効率的な最適化が実現され、大規模データセットへのスケーラビリティを支援した。