[論文レビュー] TransRec: Learning Transferable Recommendation from Mixture-of-Modality Feedback

Jie Wang, Fajie Yuan+7 more|arXiv (Cornell University)|Jun 13, 2022

Machine Learning in Healthcare被引用数 8

ひとこと要約

TransRecは、ユーザーとアイテムIDに依存せず、テキストや画像などの複数のモダリティ（MoM）のフィードバックから学習することで、転送可能なレコメンデーションのための新規フレームワークを提案する。ID埋め込みをモダリティ固有のエンコーダー（例：テキストにはBERT、画像にはResNet）に置き換え、エンドツーエンドで学習することで、重複するユーザー・アイテムがなくても、さまざまなレコメンデーションドメインにわたるゼロショットおよびフェイントショット転送を可能にし、限られたデータでの下流タスクで顕著な性能向上を達成する。

ABSTRACT

Learning large-scale pre-trained models on broad-ranging data and then transfer to a wide range of target tasks has become the de facto paradigm in many machine learning (ML) communities. Such big models are not only strong performers in practice but also offer a promising way to break out of the task-specific modeling restrictions, thereby enabling task-agnostic and unified ML systems. However, such a popular paradigm is mainly unexplored by the recommender systems (RS) community. A critical issue is that standard recommendation models are primarily built on categorical identity features. That is, the users and the interacted items are represented by their unique IDs, which are generally not shareable across different systems or platforms. To pursue the transferable recommendations, we propose studying pre-trained RS models in a novel scenario where a user's interaction feedback involves a mixture-of-modality (MoM) items, e.g., text and images. We then present TransRec, a very simple modification made on the popular ID-based RS framework. TransRec learns directly from the raw features of the MoM items in an end-to-end training manner and thus enables effective transfer learning under various scenarios without relying on overlapped users or items. We empirically study the transferring ability of TransRec across four different real-world recommendation settings. Besides, we look at its effects by scaling source and target data size. Our results suggest that learning neural recommendation models from MoM feedback provides a promising way to realize universal RS.

研究の動機と目的

• レコメンデーションシステム（RS）分野において、IDベースの協調フィルタリングに制限される一般的なレコメンデーションモデルの転送可能性と汎用性の欠如に対処すること。
• ユーザー／アイテムIDではなく、生のマルチモーダルアイテム特徴（例：テキスト、画像）から学習する新しいパラダイムを検討すること。
• MoMフィードバックからのモダリティに依存しない表現を活用することで、レコメンデーションにおけるクロスドメインおよびゼロショット転移学習を可能にすること。
• 限られたデータで多様なレコメンデーションシナリオに一般化できる能力を実証的に検証すること。
• マルチモーダルレコメンデーションにおけるエンドツーエンド学習と固定特徴微調整の間のトレードオフを検討すること。

提案手法

• アイテムID埋め込みを代替して、モダリティ固有のエンコーダー（例：テキストにはBERT、画像にはResNet）を導入し、アイテムをその生の特徴に基づいて表現すること。
• ユーザーをMoMエンコーディング済みアイテムの系列として表現することで、IDベースの相互作用ではなく、マルチモーダルコンテンツからのユーザーの好みをモデルが学習できるようにすること。
• モダリティエンコーダーとレコメンデーションヘッドを同時に最適化するエンドツーエンド学習により、効果的な転移学習を可能にすること。
• IDベースのレコメンデーションモデルの任意のモデルに、ID埋め込み層をMoMエンコーダーに置き換えることで、モデルに依存せず、即挿し可能なフレームワークとして適応可能にすること。
• モダリティ特徴に事前学習済みエンコーダー（例：BERT、ResNet）を用い、エンドツーエンド学習中に微調整することで、表現品質を向上させること。
• 大規模なソースドメインで学習し、重複するユーザー・アイテムのない多様なターゲットドメインで微調整することで、転送性を評価すること。

実験結果

リサーチクエスチョン

• RQ1 重複するユーザー・アイテムがなくても、混合モダリティフィードバックから学習したレコメンデーションモデルは、異なるドメインに一般化可能か？
• RQ2 エンドツーエンドでモダリティエンコーダーを学習する方が、固定された事前抽出特徴を用いる場合に比べて、より優れた転送性能を示すか？
• RQ3 低データ環境下でのTransRecの性能はどのようであり、冷間スタート問題を効果的に緩和できるか？
• RQ4 テキストのみ、画像のみ、画像＋テキストの組み合わせといった、異なるモダリティの組み合わせにおいて、MoMフィードバックによる性能向上は一貫しているか？
• RQ5 モダリティエンコーダーの選択（例：BERT対ResNet）が、レコメンデーションモデルの転送性と耐性にどのように影響するか？

主な発見

• 大規模なソースデータセットから、わずか10,000件のユーザー・シーケンスしかないターゲットデータセットへの転送において、HR@10で53.17%、NDCG@10で53.17%の相対的向上を達成し、顕著なフェイントショット転送性を示した。
• ターゲットデータの60%を使用しても、ベースラインのTFSモデルに比べ、HR@10で26.55%、NDCG@10で26.70%の相対的向上を示し、データ不足環境下でも高い耐性を示した。
• エンドツーエンド学習は常に固定特徴微調整を上回り、TN-textデータセットではHR@10で19.40%、NDCG@10で18.82%高い性能を達成した。
• モデルは強力な一般化性能を示した：TN-videoドメインでは、エンドツーエンド学習でHR@10が0.0424、NDCG@10が0.0221を達成し、固定ベースライン（HR@10: 0.0040、NDCG@10: 0.0023）を著しく上回った。
• TransRecの性能はターゲットデータ量の増加に伴い向上するが、特に低データ環境で最大の向上が観察されたことから、冷間スタートやデータが限られた状況において特に価値があることが確認された。
• 結果から、特にテキスト用のBERTによるモダリティエンコーダー表現が、画像用のResNetの特徴よりも一般化性と有効性に優れていることが示唆され、モダリティ固有の転送性の違いが明らかになった。