[論文レビュー] Zero-Shot Recommender Systems

Hao Ding, Yifei Ma+3 more|arXiv (Cornell University)|May 18, 2021

Recommender Systems and Techniques参考文献 37被引用数 14

ひとこと要約

本論文では、自然言語の記述を連続的アイテム埋め込みとして使用し、順序付きの相互作用パターンによってユーザの好みをモデル化することで、完全に未知のユーザおよびアイテムに一般化するゼロショット推薦システムZESRecを提案する。3つの実世界データセットペアにおいて、重複するユーザやアイテムが存在しない冷間スタート設定でも優れた性能を示し、重複のないデータを用いた効果的な転移学習を実証している。

ABSTRACT

Performance of recommender systems (RS) relies heavily on the amount of training data available. This poses a chicken-and-egg problem for early-stage products, whose amount of data, in turn, relies on the performance of their RS. On the other hand, zero-shot learning promises some degree of generalization from an old dataset to an entirely new dataset. In this paper, we explore the possibility of zero-shot learning in RS. We develop an algorithm, dubbed ZEro-Shot Recommenders (ZESRec), that is trained on an old dataset and generalize to a new one where there are neither overlapping users nor overlapping items, a setting that contrasts typical cross-domain RS that has either overlapping users or items. Different from categorical item indices, i.e., item ID, in previous methods, ZESRec uses items' natural-language descriptions (or description embeddings) as their continuous indices, and therefore naturally generalize to any unseen items. In terms of users, ZESRec builds upon recent advances on sequential RS to represent users using their interactions with items, thereby generalizing to unseen users as well. We study three pairs of real-world RS datasets and demonstrate that ZESRec can successfully enable recommendations in such a zero-shot setting, opening up new opportunities for resolving the chicken-and-egg problem for data-scarce startups or early-stage products.

研究の動機と目的

• データ量が少ない初期段階の推薦システムにおける「鶏と卵の問題」を解決する。
• 重複するユーザやアイテムが一切ない完全に新しいドメインへの一般化を可能にする。
• カテゴリカルなアイテムIDの制限を克服し、自然言語の記述のような連続的かつ普遍的なアイテム表現を用いる。
• 順序付きユーザ行動モデリングを活用して、ユーザの相互作用履歴に基づき、未知のユーザへの一般化を実現する。
• 共通の意味的表現を用いてユーザの好みのパターンをドメイン間で転移する統合フレームワークを開発する。

提案手法

• アイテムをその自然言語記述の事前学習済みBERTベースの埋め込みで表現し、連続的かつ普遍的な識別子空間を構築する。
• アイテム相互作用履歴をシーケンスとして符号化する順序付き推薦アーキテクチャを用いてユーザの好みをモデル化する。
• 学習時に既知のユーザとアイテムを含むソースドメインでモデルを訓練し、その後、完全に未知のユーザとアイテムを持つターゲットドメインに直接展開する。
• 普遍的埋め込みを活用して、学習データに存在しなかったIDを持つ新規アイテムに対してもゼロショット推論を可能にする。
• メタラーニングとインダクティブバイアスを適用し、履歴から次のアイテムへの一般化可能なユーザ行動遷移の学習を優先する。
• 埋め込み空間における意味的類似度を用いてドメイン間でユーザ表現をアライメントし、未知のユーザに推薦する。

実験結果

リサーチクエスチョン

• RQ1 トレーニング時においてユーザとアイテムの両方が完全に未知の新規ドメインに対しても、推薦システムが一般化可能か？
• RQ2 自然言語記述を連続的アイテム埋め込みとして用いることで、推薦におけるゼロショット一般化がどの程度有効か？
• RQ3 順序付きユーザ行動モデリングは、ゼロショット設定下で未知のユーザへの一般化をどの程度可能にするか？
• RQ4 ZESRecは冷間スタート条件下でドメイン内ベースラインと比較して、性能と一般化能力においてどの程度優れているか？
• RQ5 ZESRecは、味のバリエーションへの好みといったユーザ行動パターンを、異なるドメイン間で学習・転移できるか？

主な発見

• ZESRecは、3つのデータセットペアすべてにおいて、HRNN-Meta や HRNN-Interactions といったドメイン内モデルを、全週設定で一貫して上回り、優れた一般化性能を示している。
• 初日設定下でも、ZESRecはドメイン内モデルと比較して妥当な性能を達成しており、初期段階の推薦において堅牢性を示している。
• MIND NFLペアでは、ソースドメインの相互作用数が169K件とターゲットドメインの100万件に比べて限定的であったにもかかわらず、ZESRecは強力な結果を達成しており、限られたソースデータでも有効性を示している。
• ターゲットドメインでたった1万件の相互作用での段階的訓練でも、ZESRecの性能を上回ることはできず、初期段階システムにおけるゼロショット学習の価値を強調している。
• 事例研究により、ZESRecはユーザがスイーツからハーブティーへと移行する、あるいは1つの味から別の味に移行するといった意味のある行動パターンを学習し、それに基づいて未知のアイテムを適切に推薦していることが確認された。
• 以前にトロピカルフレーバーの製品を購入したユーザに対して、ベリー風味の「V8 Splash」を正しく推薦したことで、味の好みのパターンの転移が成功していることが示された。