[論文レビュー] Disentangled Multimodal Representation Learning for Recommendation

Fan Liu, Huilin Chen+4 more|arXiv (Cornell University)|Mar 10, 2022

Recommender Systems and Techniques被引用数 8

ひとこと要約

本稿では、テキストや画像などの異なるモダリティ間でアイテム要因（例：品質、外観）を分離し、マルチモーダルアテンションメカニズムによってユーザー固有のモダリティ好みをモデル化する、新しい推薦モデルである分離的マルチモーダル表現学習（DMRL）を提案する。5つの実世界データセットにおける実験では、DMRLは要因レベルでのユーザーの好みに応じたモダリティ寄与度を効果的に捉えることで、最先端の手法を顕著に上回る性能を示した。

ABSTRACT

Many multimodal recommender systems have been proposed to exploit the rich side information associated with users or items (e.g., user reviews and item images) for learning better user and item representations to improve the recommendation performance. Studies from psychology show that users have individual differences in the utilization of various modalities for organizing information. Therefore, for a certain factor of an item (such as appearance or quality), the features of different modalities are of varying importance to a user. However, existing methods ignore the fact that different modalities contribute differently towards a user's preference on various factors of an item. In light of this, in this paper, we propose a novel Disentangled Multimodal Representation Learning (DMRL) recommendation model, which can capture users' attention to different modalities on each factor in user preference modeling. In particular, we employ a disentangled representation technique to ensure the features of different factors in each modality are independent of each other. A multimodal attention mechanism is then designed to capture users' modality preference for each factor. Based on the estimated weights obtained by the attention mechanism, we make recommendations by combining the preference scores of a user's preferences to each factor of the target item over different modalities. Extensive evaluation on five real-world datasets demonstrate the superiority of our method compared with existing methods.

研究の動機と目的

• 既存のマルチモーダル推薦システムが、異なるアイテム要因におけるユーザー固有のモダリティ好みを無視して全モダリティを均一に扱うという限界を是正すること。
• ユーザーがアイテムの異なる側面（例：品質対外観）を評価する際に、テキストや画像といった異なるモダリティをどの程度重視するかをモデル化すること。
• 各モダリティ内でのアイテム要因（例：品質、外観）の表現を分離し、独立した解釈可能な特徴学習を保証すること。
• ユーザー固有のモダリティ好みを反映したアテンション重みを用いて、モダリティ固有のスコアを組み合わせることで、推薦性能を向上させること。
• アブレーションおよび比較研究を通じて、分離的表現学習とモダリティ好みモデリングの有効性を検証すること。

提案手法

• 各モダリティの特徴を独立した要因（例：品質、外観）に分解する分離的表現学習を採用し、要因間の干渉を回避する。
• ユーザー固有のアテンション重みを学習するマルチモーダルアテンションメカニズムを導入し、各要因における各モダリティの寄与度を示す。
• 各要因について、学習済みアテンション重みを用いてモダリティ固有の表現の重み付き合成を計算し、パーソナライズドな好みスコアを生成する。
• 最終的な推薦スコアは、全要因および全モダリティの好みスコアを集約することで得られ、アテンション重みはユーザーごとに動的に適応される。
• ユーザー-アイテム相互作用予測と分離的表現学習の両方を最適化するジョイント損失関数を用いて、エンドツーエンドでモデルを学習する。
• アブレーションスタディでは、モダリティアテンション、分離性、ユーザー固有の好みモデリングの各要素を除去し、性能比較によってその影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 アイテム要因ごとにユーザー固有のモダリティ好みをモデル化することで、均一なマルチモーダル統合に比べて推薦性能がどの程度向上するか？
• RQ2 各モダリティ内でのアイテム要因の分離が、表現品質および推薦精度にどの程度寄与するか？
• RQ3 テキスト、視覚的、その他のモダリティが、異なるアイテム要因におけるユーザー好みに果たす相対的寄与度は何か？
• RQ4 分離要因の数がモデル性能に与える影響は何か？最適な要因数は何か？
• RQ5 提案手法は、実世界のデータセットにおいて、最先端のマルチモーダルおよび分離的推薦手法を上回ることができるか？

主な発見

• DMRLは5つの実世界データセットにおいて、最先端の手法を顕著に上回る優れた性能を達成し、要因レベルでのモダリティ好みモデリングの有効性を示した。
• アブレーションスタディでは、ユーザー固有のモダリティアテンションを削除した場合（DMRL w/o u）に性能が低下することが確認され、パーソナライゼーションの重要性が裏付けられた。
• DMRL v（視覚のみ）は、大多数のデータセットでDMRL t（テキストのみ）のRecall@20を上回り、視覚的特徴が好みモデリングにおいてより影響力があることを示唆した。
• モデルは2または4つの分離要因で最も良い性能を示したが、K=8では性能が低下し、小さな埋め込みサイズでは表現力に限界があることが示された。
• DMRL w/o a（アテンションなし）は、単一モダリティベースラインでさえも下回り、アテンションに基づくモダリティ重み付けの必要性が強調された。
• Sportsデータセットでは、フルモダリティ手法が部分モダリティ手法を下回った。これは、マルチモーダル統合に一貫性の欠如やノイズが生じる可能性を示唆し、今後の研究の余地がある。