[論文レビュー] Multimodal Recommender Systems: A Survey

Qidong Liu, Jiaxi Hu+6 more|arXiv (Cornell University)|Feb 8, 2023

Recommender Systems and Techniques被引用数 8

ひとこと要約

この調査は、三つの技術カテゴリー— Feature Interaction、Feature Enhancement、Model Optimization—によってマルチモーダル推奨システム（MRS）を分類し、データセット、リソース、将来の方向性を要約します。

ABSTRACT

The recommender system (RS) has been an integral toolkit of online services. They are equipped with various deep learning techniques to model user preference based on identifier and attribute information. With the emergence of multimedia services, such as short videos, news and etc., understanding these contents while recommending becomes critical. Besides, multimodal features are also helpful in alleviating the problem of data sparsity in RS. Thus, Multimodal Recommender System (MRS) has attracted much attention from both academia and industry recently. In this paper, we will give a comprehensive survey of the MRS models, mainly from technical views. First, we conclude the general procedures and major challenges for MRS. Then, we introduce the existing MRS models according to four categories, i.e., Modality Encoder, Feature Interaction, Feature Enhancement and Model Optimization. Besides, to make it convenient for those who want to research this field, we also summarize the dataset and code resources. Finally, we discuss some promising future directions of MRS and conclude this paper. To access more details of the surveyed papers, such as implementation code, we open source a repository.

研究の動機と目的

• 推奨システムにおけるマルチモーダル情報の研究動機づけ：データスパース性と豊かなアイテム表現に対処する。
• Interaction、Enhancement、Optimization の観点に基づく MRS モデルの技術的分類を提供する。
• 研究者と実務者を導くためにデータセット、リソース、オープンソースフレームワークを要約する。

提案手法

• 統一的な MRS パイプラインを定義する：Raw Feature Extracting、Feature Interaction、and Recommendation.
• 既存研究を三つの分類法に分ける：Feature Interaction（Bridge、Fusion、Filtration）、Feature Enhancement（Disentangled Representation Learning、Contrastive Learning）、Model Optimization.
• エンドツーエンドと二段階トレーニングのパラダイムとそのトレードオフを説明する。
• 実験と再現性を支援するデータセットとオープンソースリソースを要約する。

実験結果

リサーチクエスチョン

• RQ1 MRSにおいてマルチモーダル特徴を統合・活用する主な技術的手法は何か？
• RQ2 Feature Interaction、Enhancement、Model Optimization はデータスパース性とモダリティの異質性にどう対処するか？
• RQ3 MRS研究を進めるためのデータセットとオープンソースツールは何か？
• RQ4 MRS における主流のトレーニング方式（エンドツーエンド vs. 二段階）は何で、それらの影響は？

主な発見

• 三部構成の分類法（Feature Interaction、Feature Enhancement、Model Optimization）は、MRS の主要な研究方向を捉えている。
• 注意機構とグラフベースの手法は、モダリティ間の情報を接続・統合するうえで中心的である。
• Disentangled Representation Learning と Contrastive Learning は、データスパース性を緩和し表現品質を向上させるのに有効である。
• 二つの主要なトレーニング方式が存在：エンドツーエンドと二段階トレーニング、いずれも計算と性能に異なるトレードオフを持つ。
• 幅広いデータセットとオープンソースのフレームワーク（例：MMRec、Cornac）により実験とベンチマークが促進されている。