[論文レビュー] Large Multi-modal Encoders for Recommendation

Zixuan Yi, Zijun Long+3 more|arXiv (Cornell University)|Oct 31, 2023

Recommender Systems and Techniques被引用数 4

ひとこと要約

本稿では、大規模なマルチモーダル（LMM）エンコーダー—CLIP および VLMo—をマルチモーダルレコメンデーションシステムに統合する方法を調査し、事前学習済みおよび微調整済みの LMM エンコーダーが、より深いクロスマodalなアライメントを可能にすることで、ユーザーおよびアイテムの表現学習を顕著に向上させることを示している。研究では、エンドツーエンド学習がさらに性能を向上させることを示しており、特に CLIP のようなデュアルストリームエンコーダーにおいて顕著であり、3つのマルチモーダルレコメンデーションデータセットで最先端の結果を達成している。

ABSTRACT

In recent years, the rapid growth of online multimedia services, such as e-commerce platforms, has necessitated the development of personalised recommendation approaches that can encode diverse content about each item. Indeed, modern multi-modal recommender systems exploit diverse features obtained from raw images and item descriptions to enhance the recommendation performance. However, the existing multi-modal recommenders primarily depend on the features extracted individually from different media through pre-trained modality-specific encoders, and exhibit only shallow alignments between different modalities - limiting these systems' ability to capture the underlying relationships between the modalities. In this paper, we investigate the usage of large multi-modal encoders within the specific context of recommender systems, as these have previously demonstrated state-of-the-art effectiveness when ranking items across various domains. Specifically, we tailor two state-of-the-art multi-modal encoders (CLIP and VLMo) for recommendation tasks using a range of strategies, including the exploration of pre-trained and fine-tuned encoders, as well as the assessment of the end-to-end training of these encoders. We demonstrate that pre-trained large multi-modal encoders can generate more aligned and effective user/item representations compared to existing modality-specific encoders across three multi-modal recommendation datasets. Furthermore, we show that fine-tuning these large multi-modal encoders with recommendation datasets leads to an enhanced recommendation performance. In terms of different training paradigms, our experiments highlight the essential role of the end-to-end training of large multi-modal encoders in multi-modal recommendation systems.

研究の動機と目的

• 既存のマルチモーダルレコメンデーションシステムがモダリティ固有のエンコーダーに依存する中で、浅いクロスマodalなアライメントという限界を是正すること。
• CLIP や VLMo などの大規模マルチモーダルエンコーダー（LMM）が、マルチモーダルな文脈において表現学習とレコメンデーション性能を向上させられるかどうかを調査すること。
• LMM エンコーダーを用いたレコメンデーションモデルにおいて、事前学習、微調整、エンドツーエンド学習といった異なる学習パラダイムの有効性を比較すること。
• LMM エンコーダーが強化された状態での、視覚的および言語的モダリティの個別貢献度を分析すること。
• LATTICE などのレコメンデーションモデルと LMM エンコーダーとの間で生じるアーキテクチャ的・学習関連の矛盾を同定し、それらが性能に与える影響を特定すること。

提案手法

• 本研究では、最先端の2つの LMM エンコーダー（CLIP（デュアルストリーム）および VLMo（統合型））を、MMGCL、LATTICE および他の3つの既存のマルチモーダルレコメンデーションモデルに統合した。
• 事前学習済みの CLIP および VLMo エンコーダーを特徴抽出器として使用し、各データセットのアイテム画像およびテキストデータを用いて微調整を実施し、エンコーダーをレコメンデーションタスクに適応させた。
• 本稿では3つの学習パラダイムを評価した：(1) 事前学習済みエンコーダーのみの使用、(2) レコメンデーションデータに対してエンコーダーを微調整、(3) LMM エンコーダーを含む全モデルのエンドツーエンド学習。
• CLIP および VLMo に内蔵されたコントラスト学習目的により、視覚的および言語的特徴が共有空間に統合されるため、クロスマodalなアライメントが強化された。
• 性能評価は、Amazon Sports、Amazon Clothing、Amazon Baby の3つのマルチモーダルレコメンデーションデータセットを対象に、NDCG@20 や Recall@K といった標準指標を用いて実施した。
• モダリティ貢献度分析を実施し、視覚的のみ、言語的のみ、または両方のモダリティを入力として使用した場合の性能を、LMM エンコーダー有り・無しで比較した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: モダリティ固有のエンコーダーと比較して、事前学習済みの大規模マルチモーダルエンコーダー（CLIP および VLMo）は、マルチモーダルレコメンデーションモデルの性能を向上させられるか？
• RQ2 RQ2: レコメンデーションデータセット上で LMM エンコーダーを微調整することで、レコメンデーション性能にどのような影響が生じるか？
• RQ3 RQ3: 2段階（事前学習＋微調整）とエンドツーエンド学習の異なる学習パラダイムが、LMM エンコーダーの有効性に与える影響は何か？
• RQ4 RQ4: LMM エンコーダーは、マルチモーダルレコメンデーションにおける個別モダリティ（視覚的および言語的）の貢献度をどの程度向上させるか？
• RQ5 RQ5: LATTICE などの特定のレコメンデーションモデルと LMM エンコーダーとの間に、アーキテクチャ的矛盾が生じるか？ その影響は性能にどのように現れるか？

主な発見

• 事前学習済みの CLIP および VLMo エンコーダーは、120件のテストケースの79％において、モダリティ固有のエンコーダーと比較してレコメンデーション性能を向上させ、クロスマodalなアライメントおよび表現品質の向上を顕著に示した。
• レコメンデーションデータセット上で LMM エンコーダーを微調整することで、さらなる性能向上が得られ、ドメイン特化の適応による利点が裏付けられた。
• CLIP（デュアルストリームエンコーダー）のエンドツーエンド学習は、すべてのモデルにおいて顕著な性能向上をもたらし、特に LATTICE のようなモデルとの概念的矛盾の解消に寄与した。
• 一方、VLMo（統合型エンコーダー）はエンドツーエンド学習による性能向上を示さず、アーキテクチャの違いが学習ダイナミクスに影響していることが示唆された。
• 視覚的および言語的モダリティの両方を用いた場合、LMM エンコーダーの統合は一貫して性能向上をもたらし、すべてのデータセットで NDCG@20 スコアにおいて統計的に有意な向上（p < 0.05）が観察された。
• モダリティ貢献度分析により、LMM エンコーダーがより深いアライメントを可能にし、単一モダリティ入力よりもマルチモーダル統合が有効であることが確認された。これは、ベースラインモデルが統合特徴で性能を発揮できなかった場合でも同様に成立した。