[論文レビュー] MM-Rec: Multimodal News Recommendation

Chuhan Wu, Fangzhao Wu+2 more|arXiv (Cornell University)|Apr 15, 2021

Multimodal Machine Learning Applications参考文献 25被引用数 10

ひとこと要約

MM-Recは、事前学習済みの視覚言語モデルを用いてニュースの見出しと画像の領域（ROIs）を統合的に符号化することで、共注意力メカニズムを備えたトランスフォーマーを介してマルチモーダルな関連性を捉える、マルチモーダルニュース推薦フレームワークを提案する。さらに、候補ニュースと関連する過去にクリックされたニュースを選択することでユーザーの関心をモデル化する、マルチモーダル関連性に基づくコアリエント注意ネットワークを採用し、実世界のデータ上でのテキストのみのベースラインと比較して顕著な推薦性能の向上を達成する。

ABSTRACT

Accurate news representation is critical for news recommendation. Most of existing news representation methods learn news representations only from news texts while ignore the visual information in news like images. In fact, users may click news not only because of the interest in news titles but also due to the attraction of news images. Thus, images are useful for representing news and predicting user behaviors. In this paper, we propose a multimodal news recommendation method, which can incorporate both textual and visual information of news to learn multimodal news representations. We first extract region-of-interests (ROIs) from news images via object detection. Then we use a pre-trained visiolinguistic model to encode both news texts and news image ROIs and model their inherent relatedness using co-attentional Transformers. In addition, we propose a crossmodal candidate-aware attention network to select relevant historical clicked news for accurate user modeling by measuring the crossmodal relatedness between clicked news and candidate news. Experiments validate that incorporating multimodal news information can effectively improve news recommendation.

研究の動機と目的

• 既存のニュース推薦システムがテキストコンテンツに依存しており、ニュース画像の視覚的特徴を無視するという限界を是正すること。
• ニュースの見出しと画像の領域間のマルチモーダル関連性をモデル化し、ニュース表現学習を向上させること。
• 候補ニュースと関連する過去にクリックされたニュースをマルチモーダル関連性に基づいて選択することで、ユーザーの関心をモデル化するメカニズムを構築すること。
• 視覚的情報を統合することでクリック予測と推薦精度が向上することを検証すること。
• 事前学習済みの視覚言語モデルがニュース推薦の文脈で、テキストと視覚の両方の表現を統合的に学習する有効性を示すこと。

提案手法

• 物体検出のための事前学習済みマスクR-CNNモデルを用いてニュース画像から領域（ROIs）を抽出する。
• 事前学習済みの視覚言語モデル（ViLBERT）を用いてニュースの見出しと画像のROIsを符号化し、マルチモーダル表現を学習する。
• ニュースのテキストと画像のROIsの間の本質的関連性をモデル化するため、共注意力メカニズムを備えたトランスフォーマーを適用する。
• 候補ニュースと各クリック済みニュースとの間の関連性をマルチモーダル埋め込みを用いて計算する、マルチモーダル関連性に基づくコアリエント注意ネットワークを設計する。
• 関連性の高いクリック済みニュースを抽出し、それらを用いて候補ニュースのユーザー関心をモデル化することで、精密なパーソナライゼーションを実現する。
• クリック予測を最適化するため、ランク付け損失を用いてエンドツーエンドのモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 ニュース画像からの視覚的情報を統合することで、ニュース表現学習と推薦性能が向上するか？
• RQ2 ニュースの見出しと画像のROIsの間のマルチモーダル関連性をモデル化することは、表現品質と推薦精度にどのように影響するか？
• RQ3 マルチモーダル関連性を活用するコアリエント注意メカニズムは、標準的な注意メカニズムと比較してユーザー関心モデルの精度を向上させるか？
• RQ4 マルチモーダルニュース表現学習において、テキスト特徴と視覚特徴の相対的寄与度はどの程度か？
• RQ5 共注意力メカニズムとマルチモーダル注意ネットワークは、ベースラインと比較して、マルチモーダル相互作用をどのように効果的に捉えているか？

主な発見

• MM-RecはMINDデータセットで64.96％のヒットレートを達成し、NRMS や PLM-NR といったテキストのみのベースラインを著しく上回る最先端の性能を示した。
• アブレーションスタディの結果、テキストおよび視覚の両モodalが不可欠であることが確認され、いずれかのモダリティを除去すると性能が低下した。
• 共注意力メカニズムを用いることで、ニュースの見出しと画像の領域の間の相互作用を効果的にモデル化でき、性能が向上した。
• マルチモーダル類似度に基づいて最も関連性の高いクリック済みニュースを選択することで、コアリエント注意ネットワークがユーザー関心モデルの精度を向上させた。
• 画像入力を提供しなくても、MM-Recの変種はPLM-NRベースラインを上回った。これは、視覚信号統合による事前学習済みの視覚言語モデルが、テキスト理解を向上させることの有効性を示している。
• ケーススタディでは、MM-RecがNFL関連のニュースをテキストのみのモデルが見出しから単独で検出できないのに対し、マルチモーダル関連性に基づいて高い順位にランク付けできることを示した。