[論文レビュー] Multimodal Pretraining, Adaptation, and Generation for Recommendation: A Survey

Qijiong Liu, Jieming Zhu+7 more|arXiv (Cornell University)|Mar 31, 2024

Recommender Systems and Techniques被引用数 4

ひとこと要約

本サーベイは、推薦システムにおけるマルチモーダル事前学習、適応、生成技術について包括的な概要を提供し、コンテンツに配慮したパーソナライズを向上させるために大規模な事前学習マルチモーダルモデルの統合を強調している。ドメイン内事前学習、チューニング戦略によるモデル適応、AI生成コンテンツの応用を体系的に検討するとともに、マルチモーダル推薦分野における主な課題と今後の研究方向性を特定している。

ABSTRACT

Personalized recommendation serves as a ubiquitous channel for users to discover information tailored to their interests. However, traditional recommendation models primarily rely on unique IDs and categorical features for user-item matching, potentially overlooking the nuanced essence of raw item contents across multiple modalities such as text, image, audio, and video. This underutilization of multimodal data poses a limitation to recommender systems, especially in multimedia services like news, music, and short-video platforms. The recent advancements in large multimodal models offer new opportunities and challenges in developing content-aware recommender systems. This survey seeks to provide a comprehensive exploration of the latest advancements and future trajectories in multimodal pretraining, adaptation, and generation techniques, as well as their applications in enhancing recommender systems. Furthermore, we discuss current open challenges and opportunities for future research in this dynamic domain. We believe that this survey, alongside the curated resources, will provide valuable insights to inspire further advancements in this evolving landscape.

研究の動機と目的

• 推薦システムにおけるマルチモーダル事前学習、適応、生成分野の最近の進展を体系的にレビューすること。
• 従来の特徴ベース手法を上回るコンテンツに配慮した推薦の向上に貢献する事前学習マルチモーダルモデルの役割を強調すること。
• 統合、クロスドメインアライメント、フォーデーションモデルを含む、マルチモーダル推薦分野における未解決の課題と新たな機会を特定すること。
• AIGCおよびLLMベースのエージェントの統合を通じて、推薦システムにおけるパーソナライズ性とユーザーアクセスを向上させること。
• マルチモーダルモデルを実世界の推薦システムに適用する際の効率性、倫理的懸念、実装上の課題に対処すること。

提案手法

• ドメイン固有のデータに焦点を当てたマルチモーダル事前学習技術を分類・レビューし、推薦のためのドメイン内表現学習を向上させること。
• 表現転送、ファインチューニング、アダプタチューニング、プロンプトチューニングなどの適応戦略を検討し、事前学習マルチモーダルモデルを下流の推薦タスクに適合させること。
• 特にAIGCを活用したマルチモーダル生成技術を分析し、推薦文脈におけるパーソナライズドコンテンツ（例：見出し、広告、説明）の生成を検討すること。
• ユーザ行動、アイテム、モダリティ（テキスト、画像、音声、動画）の間で階層的かつパーソナライズドなマルチモーダル情報の統合フレームワークを提案すること。
• 大規模かつ多ドメインの推薦データでトレーニングされたマルチモーダルフォーデーションモデルの開発の可能性について議論し、文脈内学習を通じた一般化と汎用性を実現すること。
• 生産環境の推薦システムにおけるリアルタイム遅延要件を満たすために、トレーニングおよび推論のための効率化戦略をレビューすること。

実験結果

リサーチクエスチョン

• RQ1 プロンプトチューニングやアダプタチューニングなどの技術を用いて、事前学習マルチモーダルモデルを推薦タスクに効果的にファインチューニングまたは適応させる方法は何か？
• RQ2 階層的ユーザ・アイテムインタラクションにおいて、パーソナライズドな方法でマルチモーダル情報を統合する最も効果的な手法は何か？
• RQ3 AIGC技術を活用して、推薦パフォーマンスとユーザーエンゲージメントを向上させるパーソナライズドコンテンツ（例：見出し、広告）を生成する方法は何か？
• RQ4 一般化と文脈内学習の観点から、フォーデーションモデルを推薦分野に拡張するにあたり、主な課題は何か？
• RQ5 リアルタイムサービス要件を満たすために、トレーニングおよび推論におけるマルチモーダルモデルの効率化をどのように最適化できるか？

主な発見

• ドメイン固有のデータを用いたマルチモーダル事前学習は、アイテム表現の質を顕著に向上させ、より良いコンテンツに配慮した推薦を可能にする。
• プロンプトチューニングやアダプタチューニングなどの適応技術により、計算コストを低減しつつ、事前学習マルチモーダル知識を推薦タスクに効果的に転送できる。
• AIGCを活用した生成は、見出し、クリエイティブなどパーソナライズドコンテンツの作成を可能にし、推薦システムにおけるユーザーエンゲージメントとパーソナライズ性を向上させる。
• ユーザ行動、アイテム、モダリティの間で階層的かつパーソナライズドにマルチモーダル情報を統合することで、より正確で文脈に配慮した推薦が実現される。
• 推薦分野におけるマルチモーダルフォーデーションモデルの開発は有望な方向性であり、文脈内学習を通じてタスクおよびドメインを横断した一般化が可能になる可能性を秘めている。
• トレーニングおよび推論における効率性は依然として重要な課題であり、リアルタイムでのデプロイメントを実現するための軽量かつスケーラブルな戦略の開発が不可欠である。