[論文レビュー] User-Sensitive Recommendation Ensemble with Clustered Multi-Task Learning

Menghan Wang, Xiaolin Zheng+1 more|arXiv (Cornell University)|Apr 28, 2018

Recommender Systems and Techniques参考文献 14被引用数 3

ひとこと要約

本稿では、予測パターンに基づいてユーザーをクラスタリングし、クラスタ化されたマルチタスク学習を用いてパーソナライズドなアンサンブル重みを学習する、ユーザー感受性のある推薦アンサンブル手法URECを提案する。この手法は、ユーザーごとの予測バイアスを顕著に低減し、優れた性能を発揮する。URECは従来のアンサンブル手法やベースモデルを上回り、MovieLens-100Kで79.11%の勝率を達成し、ユーザーの多様性や新規ユーザーの課題に対しても頑健であることを示している。

ABSTRACT

This paper considers recommendation algorithm ensembles in a user-sensitive manner. Recently researchers have proposed various effective recommendation algorithms, which utilized different aspects of the data and different techniques. However, the "user skewed prediction" problem may exist for almost all recommendation algorithms -- algorithms with best average predictive accuracy may cover up that the algorithms may perform poorly for some part of users, which will lead to biased services in real scenarios. In this paper, we propose a user-sensitive ensemble method named "UREC" to address this issue. We first cluster users based on the recommendation predictions, then we use multi-task learning to learn the user-sensitive ensemble function for the users. In addition, to alleviate the negative effects of new user problem to clustering users, we propose an approximate approach based on a spectral relaxation. Experiments on real-world datasets demonstrate the superiority of our methods.

研究の動機と目的

• 平均性能は優れているものの、一部のユーザーに対しては上位モデルが失敗する推薦システムにおけるユーザー歪み予測問題に対処すること。
• すべてのユーザーに一様な重みを適用する従来のアンサンブル手法の限界を克服し、ユーザーの多様性を無視しないこと。
• アルゴリズム的予測パターンに基づいてユーザーを同質なクラスタにグループ化する、スケーラブルで信頼性の高いアンサンブル戦略を開発すること。
• 新規ユーザーの影響を軽減するため、スペクトル緩和に基づく近似手法（UREC appr）を導入すること。

提案手法

• ベース推薦アルゴリズム（例：KNN、MF、SVD++）の予測差異に基づいてk-メディオイド法を用いてユーザーを同質なグループにクラスタリングする。
• アンサンブル学習を、各クラスタが共通のアンサンブル重みを持つクラスタ化マルチタスク学習問題として定式化する。
• 正則化されたマルチタスク学習フレームワークを用いて、クラスタ間で一括してアンサンブル重みを最適化し、一般化性能を向上させ、過学習を低減する。
• クラスタリング目的関数にスペクトル緩和を適用し、計算効率の高い近似手法であるUREC apprを構築する。これにより、新規ユーザーの処理が効果的に行える。
• ユーザー単位の性能指標（例：RMSE）を用いてクラスタの類似性を定義し、クラスタリングプロセスをガイドする。
• クラスタリング目的関数の凸緩和を適用してアンサンブルモデルを訓練することで、収束速度の向上とスケーラビリティの向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの予測パターンに基づいたクラスタリングは、アンサンブルの公平性を向上させ、ユーザー歪み性能を低減できるか？
• RQ2 ユーザーの多様性に対処する観点で、クラスタ化マルチタスク学習は従来のアンサンブル手法と比較してどのように優れているか？
• RQ3 提案されたスペクトル緩和（UREC appr）は、ユーザークラスタリングにおける新規ユーザー問題をどの程度軽減できるか？
• RQ4 ユーザー感受性のあるアンサンブル戦略は、ベースモデルと比較してユーザー単位の性能の分散を顕著に低減できるか？
• RQ5 提案手法は、個々のモデルや標準的なスタッキング手法と比較して、ユーザー全体でより高い勝率を達成できるか？

主な発見

• URECはMovieLens-100Kデータセットで79.11%の勝率を達成し、Stacking user（79.11%）と比較して優位であることを示し、ユーザー単位の公平性が優れていることを裏付けている。
• MovieLens-100Kにおいて、URECはユーザー間のRMSEの分散を0.0263にまで低減した。これはSVD++（0.0539）と比較して顕著に低い値であり、一貫性の向上を示している。
• UREC apprはMovieLens-1Mで67.29%の勝率を達成し、SVD++（58.81%）やStacking one（69.22%）を上回り、優れた一般化性能を示している。
• UREC apprの実行時間はMovieLens-100Kで265秒であり、UREC（452秒）と比較して顕著に短く、スケーラビリティの向上が確認された。
• URECはMovieLens-100Kでベースモデルと比較して78.47%の勝率を達成し、多様なユーザー群にわたる一貫性ある優位性を示している。
• UREC apprにおけるスペクトル緩和のおかげで、新規ユーザーの処理が効果的に行えるようになり、コールドスタートの課題を抱えるオンライン推薦システムに適している。