[論文レビュー] Mixture-of-tastes Models for Representing Users with Diverse Interests

Maciej Kula|arXiv (Cornell University)|Nov 22, 2017

Recommender Systems and Techniques参考文献 14被引用数 4

ひとこと要約

本稿では、ユーザーを複数の潜在的嗜好ベクトルの重み付き組み合わせとして表現する「味の混合モデル」を提案し、多様なユーザーの関心を捉えることで推薦精度を向上させる。この手法は、シーケンスベースおよび因子分解モデルの両方で顕著な性能向上を達成し、アマゾンやグッドブックスのような広範なユーザー行動を示すデータセットでは、MRRで最大69%の向上を示した。

ABSTRACT

Most existing recommendation approaches implicitly treat user tastes as unimodal, resulting in an average-of-tastes representations when multiple distinct interests are present. We show that appropriately modelling the multi-faceted nature of user tastes through a mixture-of-tastes model leads to large increases in recommendation quality. Our result holds both for deep sequence-based and traditional factorization models, and is robust to careful selection and tuning of baseline models. In sequence-based models, this improvement is achieved at a very modest cost in model complexity, making mixture-of-tastes models a straightforward improvement on existing baselines.

研究の動機と目的

• 推薦システムにおける一様なユーザー表現の限界を解決し、複数の明確な関心を持つユーザーを捉えることが不可能である点に焦点を当てる。
• 単一の潜在ベクトルではなく、明確に区別できる嗜好の混合としてユーザーをモデル化することで、推薦品質を向上させる。
• 深層シーケンスベースモデルと従来の因子分解モデルの両方に対して提案モデルを評価し、広範な適用可能性を確認する。
• ハイパーパramータチューニングに対して頑健であり、Movielens、アマゾン、グッドブックスを含む多様なデータセットへのスケーラビリティを示す。
• 嗜好の多様性をモデル化することで、MRRなどのランク付け指標に測定可能な向上が得られ、計算コストの大幅な増加なしに実現できることを確立する。

提案手法

• 各ユーザーをm個の異なる嗜好ベクトルの混合として表現し、それぞれの嗜好に対して関連性を決定する「熟達度」（アテンション）ベクトルを関連付ける。
• ユーザーの好みを、アテンションベクトルとアイテム埋め込みのドット積から得られる重み付き平均として計算する。
• 2種類のバリエーションを実装：(1) 味と熟達度に別々のベクトルを用いる「埋め込み混合因子分解（EM-F）」、(2) 投影を用いて混合重みを計算する「プロジェクション混合因子分解（PM-F）」。
• 再帰的ニューラルネットワークモデル（例：アテンション付きLSTM）および古典的行列因子分解モデルの両方に対して、味の混合フレームワークを適用する。
• 標準的な最適化手法を用いてエンドツーエンドで学習し、混合メカニズムをモデルのフォワードパスに統合する。
• ベースラインモデルのハイパーパramータを最適化するためのサーチを実施し、公平な比較と結果の頑健性を確保する。

実験結果

リサーチクエスチョン

• RQ1 単一のベクトル表現と比較して、複数の潜在的嗜好の混合としてユーザーをモデル化することで、推薦精度が向上するか？
• RQ2 シーケンスベースモデルと因子分解モデルの両方において、味の混合モデルの性能は強力なベースラインと比較してどうなるか？
• RQ3 異なるデータセットおよびモデルアーキテクチャにおいて、最適な嗜好成分数は何か？
• RQ4 ベースラインモデルのハイパーパramータを丁寧にチューニングした後も、味の混合モデルによる改善効果は維持されるか？
• RQ5 混合成分数の増加に伴いモデルの複雑さはどのように変化するか？追加されたパラメータに対して、性能向上の恩恵は見込まれるか？

主な発見

• Movielens 10MではMixture-LSTMがベースラインLSTMよりMRRで10%向上、アマゾンでは26%、グッドブックスでは17%向上した。
• アマゾンデータセットでは、埋め込み混合モデルがベースライン因子分解モデル比でMRRで69%向上し、高い多様性を持つ環境での顕著な向上を示した。
• グッドブックスでは埋め込み混合モデルがMRRで12%向上したが、プロジェクション混合モデルはアマゾンで性能を発揮しなかった。これは、より高い表現力を持つにもかかわらず最適化の課題があることを示唆している。
• 混合成分数の増加に伴い性能が向上し、用量反応関係が確認された：一般に、成分数を増やすほど良い結果が得られ、最適値はデータセットやモデルタイプによって異なる。
• ベースラインモデルおよび混合モデルの両方において、ハイパーパramータサーチは速やかに収束し、チューニング後も混合モデルが一貫してベースラインを上回った。これは、結果が最適化のアーチファクトではないことを確認するものである。
• モデルの複雑さの増加を最小限に抑えつつ、顕著な精度向上を達成しており、特にシーケンスベースモデルにおいて実用的で効果的なアップグレードであることが示された。