[論文レビュー] Incremental Factorization Machines for Persistently Cold-starting Online Item Recommendation

Takuya Kitazawa|arXiv (Cornell University)|Jul 11, 2016

Recommender Systems and Techniques参考文献 9被引用数 9

ひとこと要約

本稿では、動的オンラインアイテム推薦における恒久的コールドスタート問題を扱うために、静的因子分解マシン（FMs）を拡張したインクリメンタル因子分解マシン（iFMs）を提案する。陽性フィードバックのみを用いたリアルタイムのパラメータ更新と適応的正則化を可能にすることで、iFMsは静的モデルおよびインクリメンタル行列分解よりも優れた精度を達成し、特にユーザの好みの変化や一時的なアイテムが存在する状況において顕著である。

ABSTRACT

Real-world item recommenders commonly suffer from a persistent cold-start problem which is caused by dynamically changing users and items. In order to overcome the problem, several context-aware recommendation techniques have been recently proposed. In terms of both feasibility and performance, factorization machine (FM) is one of the most promising methods as generalization of the conventional matrix factorization techniques. However, since online algorithms are suitable for dynamic data, the static FMs are still inadequate. Thus, this paper proposes incremental FMs (iFMs), a general online factorization framework, and specially extends iFMs into an online item recommender. The proposed framework can be a promising baseline for further development of the production recommender systems. Evaluation is done empirically both on synthetic and real-world unstable datasets.

研究の動機と目的

• ユーザとアイテムが時間とともに頻繁に変化する現実世界のレコメンデーションシステムにおける、恒久的コールドスタート問題に対処すること。
• 動的で進化し続けるユーザの好みやアイテムの特性を扱う際に、静的因子分解マシン（FMs）および行列分解（MF）の限界を克服すること。
• 概念ずれへの高い適応性を備え、最小限の遅延でインクリメンタルなモデル更新を可能にするオンライン学習フレームワークを開発すること。
• 計算上の実用性を保ちながら、柔軟な特徴表現を用いて文脈に配慮したレコメンデーションを実現すること。

提案手法

• 高次元かつスパースな特徴ベクトルを扱えるように、オンライン学習スキームを一般化することで、インクリメンタル行列分解（iMF）を因子分解マシン（FMs）に拡張する。
• 陽性フィードバックイベントのみを対象に、1パス学習による確率的勾配降下法（SGD）を適用し、高速でインクリメンタルなパラメータ更新を実現する。
• オンライン学習中に正則化パラメータを自動的に調整するインクリメンタル適応的正則化を導入し、過学習を防止する。
• ユーザおよびアイテムの特徴を、ID、デモグラフィック、アイテム、ジャンル、時系列的特徴（例：曜日、最終評価日）を含む複合ベクトルとして表現する。
• 潜在ベクトルの内積を用いて予測を計算する因子分解マシンモデルを採用し、ペairワイズ特徴相互作用を明示的にモデル化する。
• ストリーミングデータ環境下でも収束性と安定性を確保するため、学習率スケジューリングとL2正則化を用いてFMの目的関数をオンラインSGDで最適化する。

実験結果

リサーチクエスチョン

• RQ1 因子分解マシンのオンライン拡張は、現実世界のレコメンデーションシステムにおける恒久的コールドスタートを効果的に扱えるか？
• RQ2 概念ずれ下での推薦精度において、インクリメンタルFM（iFM）は静的FMおよびインクリメンタルMF（iMF）と比べてどのように差をつけるか？
• RQ3 豊富な特徴表現による文脈に配慮したモデリングは、動的レコメンデーション状況における性能向上にどの程度寄与するか？
• RQ4 オンラインレコメンデーションシステムにおいて、モデルの表現力（文脈に配慮した特性）と計算効率の間にはどのようなトレードオフがあるか？
• RQ5 ストリーミング環境における段階的学習において、適応的正則化はモデルのロバストネスを向上させるか？

主な発見

• iFMsは、特にML100kデータセットにおいて、静的FMsおよびiMFsよりも平均精度再現率（MPR）で顕著に優れており、iFMsはMPR 34.26（±1.429）を達成した一方で、iMFは30.12にとどまった。
• アイテム側コールドスタートを模擬した合成クリックデータにおいて、iFMsは広告ルールの変更後も高い再現率を維持したが、静的モデルは急激に低下した。これは、概念ずれへの強い適応性を示している。
• iFMsは1ユーザあたりのレコメンデーション遅延が30ミリ秒以上、パラメータ更新がミリ秒レベルで実現され、実用的なデプロイ要件を満たしている。
• MFより100倍以上の計算コストがかかるものの、効率的なオンライン学習と段階的更新のおかげで、iFMsは生産環境でも実用可能である。
• 文脈に配慮したモデリングとオンライン学習の組み合わせにより、iFMsは静的モデルよりも優れた一般化性能を示した。これは、静的FMsとMFsが類似した再現率を示す中で顕著である。
• iFMsにおける適応的正則化は、データ分布の変化に応じて動的に調整されることで、特に高ドリフト環境下でモデルの安定性と性能が向上した。