[論文レビュー] Multi-modal Embedding Fusion-based Recommender

Anna Wróblewska, Jacek Dąbrowski+6 more|arXiv (Cornell University)|May 13, 2020

Recommender Systems and Techniques参考文献 12被引用数 6

ひとこと要約

本論文では、多様な相互作用タイプ（例：クリック、購入）と属性モダリティ（例：テキスト、画像、音声）を深層学習を用いて統合する、マルチモーダル埋め込み統合ベースのレコメンデーションシステムを提示する。このシステムは、オープンベンチマークで最先端の性能を達成しており、実際のECプラットフォームでの導入において、平均注文明細（AOS）が20–30%向上し、平均注文価値（AOV）が10–60%向上する。

ABSTRACT

Recommendation systems have lately been popularized globally, with primary use cases in online interaction systems, with significant focus on e-commerce platforms. We have developed a machine learning-based recommendation platform, which can be easily applied to almost any items and/or actions domain. Contrary to existing recommendation systems, our platform supports multiple types of interaction data with multiple modalities of metadata natively. This is achieved through multi-modal fusion of various data representations. We deployed the platform into multiple e-commerce stores of different kinds, e.g. food and beverages, shoes, fashion items, telecom operators. Here, we present our system, its flexibility and performance. We also show benchmark results on open datasets, that significantly outperform state-of-the-art prior work.

研究の動機と目的

• 単一の相互作用タイプやモダリティしか扱えない既存のレコメンデーションシステムの限界を解消すること。
• テキスト、画像、動画、音声、行動シグナルといった複数のデータモダリティを、統一されたレコメンデーションフレームワークにシームレスに統合すること。
• さまざまなECドメインに応じて、多様なレコメンデーションアルゴリズムの迅速なデプロイと評価を可能にするスケーラブルでモジュラーなプラットフォームの構築。
• 学習可能な深層ニューラルネットワークアーキテクチャを用いてマルチモーダル埋め込みを統合し、レコメンデーション効果を向上させること。
• オープンデータセットおよび実世界のECアプリケーションにおいて優れた性能を示し、平均注文明細（AOS）や平均注文価値（AOV）といった主要KPIに明確なビジネスインパクトを与えること。

提案手法

• テキスト、画像、音声、行動シーケンスといった多様なデータタイプを、共有された潜在空間に埋め込むためにマルチモーダル埋め込みを活用する。
• 異なるモダリティからの埋め込みを統合するための学習可能な統合メカニズムを適用し、効果的なクロスマダリティ相互作用と表現学習を可能にする。
• 新しいデータソース、アルゴリズム、評価パイプラインの動的統合を可能にするモジュラーでサービス指向のアーキテクチャを設計する。
• 視覚的および順序的レコメンデーションタスクに特化した深層学習モデルを、マルチビュー・マルチモーダルデータ上でエンドツーエンドに訓練する。
• セッションベースおよび長期的なユーザー好みのモデリングをサポートする統一されたフレームワークを実装し、コールドスタートおよびクロスセルレコメンデーションに対応する。
• 教師なし事前学習と埋め込みの加法的合成性を活用して、効率的でスケーラブルな推論と一般化を実現する。

実験結果

リサーチクエスチョン

• RQ1 テキスト、画像、音声、行動といった多様なデータソースからのマルチモーダル埋め込みを、レコメンデーション品質を向上させるためにどのように効果的に統合できるか？
• RQ2 提案された統合フレームワークは、レコメンデーションのオープンベンチマークデータセットにおいて、SOTA手法をどの程度上回るか？
• RQ3 本システムは、ファッション、食品、通信サービスなど多様なECドメインに、最小限の再設定で一般化可能か？
• RQ4 本システムの実世界でのビジネスインパクトは、平均注文明細（AOS）や平均注文価値（AOV）といった主要指標において、どのように測定できるか？
• RQ5 オンラインおよびオフラインチャnelをまたがる動的なユーザー行動とコールドスタートシナリオを、本システムはどのように処理するか？

主な発見

• 複数のECプラットフォームにおけるA/Bテストでは、平均注文明細（AOS）が20–30%向上し、平均注文価値（AOV）が10–60%向上する。
• オープンレコメンデーションデータセットにおいて、SOTAベースラインを著しく上回り、優れた一般化性能と頑健性を示している。
• モジュラーかつAPIに柔軟なシステムアーキテクチャのおかげで、新規ECストアへの導入は約1営業日で完了する。
• 本プラットフォームは、パーソナライズドレコメンデーション、視覚的に類似したアイテムの提案、補足商品の推薦といった多様なレコメンデーションシナリオを効果的にサポートしている。
• レコメンデーションアナリティクスツールにより、ユーザーの関与状況（例：閲覧済みおよびクリックされたレコメンデーション）のリアルタイムでカスタマイズ可能な可視化が可能となり、パフォーマンスの監視が可能になっている。
• 本システムは、音声、動画、画像、行動シーケンスといったマルチモーダル入力を効果的に処理でき、単一モダリティシステムに比べてより豊かなコンテキストモデリングが可能になっている。