[論文レビュー] OFF-Set: One-pass Factorization of Feature Sets for Online Recommendation in Persistent Cold Start Settings

Michal Aharon, Natalie Aizenberg+7 more|arXiv (Cornell University)|Aug 8, 2013

Recommender Systems and Techniques被引用数 6

ひとこと要約

OFF-Set は、潜在空間におけるユーザー特徴とそれらのペアワイズ相互作用をモデル化することで、リアルタイム推薦システムにおける継続的なコールドスタート問題に対処する1パス・オンライン行列分解アルゴリズムである。実広告ターゲティングデータにおいて、最先端のベースライン—特に因子化マシンとGBDT—を上回り、キャンペーンAではMRR 0.5993、キャンペーンBではMRR 0.6234を達成し、ランダムおよび人気ベースラインと比較して顕著な統計的改善を示した。

ABSTRACT

One of the most challenging recommendation tasks is recommending to a new, previously unseen user. This is known as the 'user cold start' problem. Assuming certain features or attributes of users are known, one approach for handling new users is to initially model them based on their features. Motivated by an ad targeting application, this paper describes an extreme online recommendation setting where the cold start problem is perpetual. Every user is encountered by the system just once, receives a recommendation, and either consumes or ignores it, registering a binary reward. We introduce One-pass Factorization of Feature Sets, OFF-Set, a novel recommendation algorithm based on Latent Factor analysis, which models users by mapping their features to a latent space. Furthermore, OFF-Set is able to model non-linear interactions between pairs of features. OFF-Set is designed for purely online recommendation, performing lightweight updates of its model per each recommendation-reward observation. We evaluate OFF-Set against several state of the art baselines, and demonstrate its superiority on real ad-targeting data.

研究の動機と目的

• ユーザーが一度しか表示されない状況におけるオンライン推薦システムにおける継続的なユーザーのコールドスタート問題に対処すること。
• ユーザーの1回ごとの相互作用に対して軽量な更新が可能なリアルタイム・オンライン学習を可能にすること。
• 共有された潜在空間内での個々のユーザー特徴と非線形ペアワイズ相互作用の両方をモデル化すること。
• 最先端のベースラインと比較して、実世界の広告ターゲティングデータにおいて優れた性能を達成すること。
• 動的で高スループットの推薦環境において、スケーラブルでメモリ消費が少ない展開を可能にすること。

提案手法

• OFF-Set は潜在要因モデルを用いてユーザー特徴を低次元空間にマップし、ユーザーとアイテムの一致スコアを内積として計算する。
• 特徴の組み合わせのための共有潜在表現を学習することで、ペアワイズ特徴相互作用を組み込み、非線形モデリングを可能にする。
• 観測された (ユーザー, アイテム, レイアウト) トリプレットごとに1回の軽量な更新を実行するため、完全にオンラインで動作し、ストリーミングデータに適している。
• 学習目的を対数尤度最大化として定式化することで、オフライン事前学習や探索スキームを必要とせず収束を実現する。
• 潜在空間は特徴固有のベクトルとそれらのペアワイズ相互作用項から構築され、関連する特徴（例：年齢層、地理的領域）に対して階層的スムージングが可能である。
• 再トレーニングを必要とせず、オンラインまたはオフラインの任意のデータソースからの学習が可能で、既存の推薦パイプラインへのシームレスな統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 1パス・オンライン行列分解アルゴリズムとして、ユーザー特徴とそれらの相互作用を効果的にモデル化することで、継続的なコールドスタート問題に対処できるか？
• RQ2 ペアワイズ特徴相互作用の組み込みが、スパースでストリーミング環境下での推薦性能にどのように寄与するか？
• RQ3 実世界の広告ターゲティングシナリオにおいて、因子化マシンやGBDTといった最先端モデルを上回る性能をOFF-Setが示せるか？
• RQ4 ストリーミング環境下で、最小限のメモリと計算オーバーヘッドで性能を維持できるか？
• RQ5 広告ターゲティング以外のコールドスタートシナリオ、例えばEC商品推薦などにも、このモデルは一般化可能か？

主な発見

• OFF-Set は実広告ターゲティングデータにおいて、キャンペーンAでMRR 0.5993、キャンペーンBでMRR 0.6234を達成し、次善のベースラインであるペア特徴付きFM（0.3038 および 0.3824）を顕著に上回った。
• OFF-Set とランダムベースラインの性能差は、キャンペーンAで0.3879、キャンペーンBで0.3979であり、両者とも95%信頼水準における0.055および0.091の有意水準を大きく上回った。
• 合成データでは、OFF-Set はペア特徴付きFM（MRR 0.8390）と同等の性能を示し、GBDT（MRR 0.8327）とベーシックなFM（MRR 0.8051）を上回った。
• トレンドのある合成データでは、OFF-Set は強固な性能（MRR 0.8231）を維持した一方、ペア特徴付きFMは0.6803に低下し、コンセプトドリフトに対する耐性が示された。
• 1パスで軽量な更新を行うメカニズムのおかげで、高スループットでメモリ制限のある環境への効率的な展開が可能であり、GBDT や FM といった再トレーニングベースのモデルよりもオンライン環境で優れた性能を発揮した。
• 極めてクリックがスパースな現実世界の環境（非クリックがクリックより2〜3桁多い）においても、OFF-Set はデータの不均衡にもかかわらず高いMRRを維持し、優れたスケーラビリティと適応性を示した。