[論文レビュー] Probabilistic Ensemble of Collaborative Filters

Zhiyu Min, Dahua Lin|arXiv (Cornell University)|Jun 26, 2018

Recommender Systems and Techniques参考文献 19被引用数 3

ひとこと要約

本稿では、生成確率的枠組みを用いて、逐次的に重み付き協調フィルタの混合モデルを構築する確率的アンサンブル（PECF）を提案する。標準のアンサンブル手法とは異なり、PECFは各反復で誤予測されたアイテムを再重み付けすることで、補完性を明示的に促進する。MovieLens、CiteULike、Netflixのデータセットにおいて、L2 Boost や bACCAMS よりも最先端の性能を達成し、収束が早く、一貫した向上を示す。

ABSTRACT

Collaborative filtering is an important technique for recommendation. Whereas it has been repeatedly shown to be effective in previous work, its performance remains unsatisfactory in many real-world applications, especially those where the items or users are highly diverse. In this paper, we explore an ensemble-based framework to enhance the capability of a recommender in handling diverse data. Specifically, we formulate a probabilistic model which integrates the items, the users, as well as the associations between them into a generative process. On top of this formulation, we further derive a progressive algorithm to construct an ensemble of collaborative filters. In each iteration, a new filter is derived from re-weighted entries and incorporated into the ensemble. It is noteworthy that while the algorithmic procedure of our algorithm is apparently similar to boosting, it is derived from an essentially different formulation and thus differs in several key technical aspects. We tested the proposed method on three large datasets, and observed substantial improvement over the state of the art, including L2Boost, an effective method based on boosting.

研究の動機と目的

• 実世界の応用において、ユーザーとアイテムの行動が極めて多様な状況を扱う際の、標準的な協調フィルタリングの限界を解消すること。
• 多様なデータにおいて単一の協調フィルタの性能が飽和するのを克服するため、補完的な要素を有するアンサンブルを構築すること。
• EM法やランダム初期化に依存せず、再重み付けによる補完性を重視する、原理的で段階的なアンサンブル構築手法を開発すること。
• 協調フィルタの確率的混合モデルが、既存のアンサンブルベースラインよりも優れた推薦精度を達成できることを示すこと。
• 潜在次元数、再重み付けパラメータ、混合重みスケジューリングといった主要ハイパーパrameterがモデル性能に与える影響を調査すること。

提案手法

• 各成分が潜在埋め込みを事前分布から抽出する協調フィルタである確率的混合モデルとしてアンサンブルを定式化する。
• 予測誤差に基づいて再重み付けされたトレーニングデータ上で学習される新しいフィルタを段階的にアンサンブルに追加するアルゴリズムを導出する。
• バンド幅σを有する重み関数ρを用いて、ユーザー・アイテムペアを再重み付けし、外れ値を抑制するとともに、予測が難しいサンプルに注目する。
• 収束速度と最終的性能のバランスを取るために、各新しい成分の混合重みαをラインサーチに類似した戦略で動的に決定する。
• 現在のアンサンブルの誤差を強調する再重み付けされたデータ上で各新しいフィルタを学習することで、補完性を確保する。標準のブースティングやEM法ではなく、再重み付けによる補完性を重視する。
• ベースライン予測子として重み付き行列分解（WMF）を用いるが、このフレームワークは他の協調フィルタリングモデルへも一般化可能である。

実験結果

リサーチクエスチョン

• RQ1 確率的アンサンブルとしての協調フィルタは、単一モデルや既存のアンサンブル手法よりも推薦性能を顕著に向上させることができるか？
• RQ2 逐次的で補完性を重視したフィルタ追加は、混合モデルにおける標準的なEMベースの学習やランダム初期化と比べてどのように異なるか？
• RQ3 潜在次元数d、再重み付けバンド幅σ、再重み付けしきい値νといった主要ハイパーパrameterがモデル性能に与える影響は何か？
• RQ4 動的混合重みスケジューリング（α）は、固定α値と比較して収束速度と最終的精度の両面で優れているか？
• RQ5 提案手法はWMFを超えて一般化可能であり、RandEM や L2 EM といった非逐次的ベースラインと比べてどの程度優れているか？

主な発見

• PECFは、MovieLens、CiteULike、Netflixの3つのデータセットすべてにおいて、L2 Boost や bACCAMS を一貫して上回り、顕著かつ安定した性能向上を達成する。
• MovieLensでは、L2 Boost よりもRecall@20で1.5%の向上を達成し、収束も速く、最初の数回の反復で顕著な向上が見られる。
• MovieLensにおける最適な潜在次元数dは50であり、dをこの値を超えて増加させても性能向上はほとんど得られず、モデル容量よりもアンサンブルの多様性が重要であることが示唆される。
• 最良の再重み付けパラメータはν = 10、σ = 1であり、外れ値の影響を抑制し、学習を安定化させる。重み関数は誤差e_ij ≈ 2で飽和する。
• 動的混合重みスケジューリング（α）は固定α値よりも優れた性能を示す：α = 0.2は収束が遅く、α = 0.4は初期段階で性能が劣り、α = 0.8は最適な最終性能に到達できない。
• EMベースのRandEMベースラインはPECFに比べて著しく性能が低いことが確認され、再重み付けによる明示的な補完性が不可欠であることが裏付けられた。ランダム初期化では有効な多様性を達成できない。