[論文レビュー] One Embedding To Do Them All

Loveperteek Singh, Shreya Singh+2 more|arXiv (Cornell University)|Jun 28, 2019

Recommender Systems and Techniques参考文献 18被引用数 6

ひとこと要約

本稿では、ノイズ除去オートエンコーダー、ベイジアンパーソナライズドランク（BPR）、シモネスネットワークをそれぞれ用いて、商品タイトル、クリックストリーム行動、商品画像を統合する統一された製品埋め込みフレームワークを提案する。統一された埋め込み表現は、属性予測、クリック-購入類似度、リターン予測という3つの異なるeコマースタスクにおいて、個別に学習された埋め込み表現を常に上回り、汎用性と優れた性能を示しており、特にDeepWalkベースの変種では顕著な優位性を示している。

ABSTRACT

Online shopping caters to the needs of millions of users daily. Search, recommendations, personalization have become essential building blocks for serving customer needs. Efficacy of such systems is dependent on a thorough understanding of products and their representation. Multiple information sources and data types provide a complete picture of the product on the platform. While each of these tasks shares some common characteristics, typically product embeddings are trained and used in isolation. In this paper, we propose a framework to combine multiple data sources and learn unified embeddings for products on our e-commerce platform. Our product embeddings are built from three types of data sources - catalog text data, a user's clickstream session data and product images. We use various techniques like denoising auto-encoders for text, Bayesian personalized ranking (BPR) for clickstream data, Siamese neural network architecture for image data and combined ensemble over the above methods for unified embeddings. Further, we compare and analyze the performance of these embeddings across three unrelated real-world e-commerce tasks specifically checking product attribute coverage, finding similar products and predicting returns. We show that unified product embeddings perform uniformly well across all these tasks.

研究の動機と目的

• eコマース応用に一般化できないタスク固有の個別埋め込み表現の限界を是正すること。
• テキスト、クリックストリーム、視覚的データといった複数のデータソースを統合し、一貫性のある製品表現を生成することで、意味的理解を向上させること。
• 1つの統一された埋め込み表現が、eコマースにおける多様で関係のない下流タスクに良好に機能するかを評価すること。
• 異なるデータモダリティ（テキスト、クリックストリーム、画像）が、さまざまなビジネスシナリオにおける埋め込み品質に果たす相対的寄与度を特定すること。
• タスク固有の再トレーニングを必要とせず、複数の下流システムで再利用可能な汎用的製品埋め込みソリューションを提供すること。

提案手法

• 製品タイトル、説明、属性から強固なテキスト表現を学習するために、ノイズ除去オートエンコーダーを活用した。
• ユーザーのクリックストリーム行動をモデル化し、暗黙のフィードバックから製品の好みを推定するために、ベイジアンパーソナライズドランク（BPR）を適用した。
• 対照的学習を通じて類似性を捉えることで、商品画像からの視覚的埋め込みを学習するために、シモネスニューラルネットワークを用いた。
• スキップグラムとシモネスアーキテクチャを組み合わせたアンサンブル手法を用いて、個々の埋め込みを統合し、統一された製品埋め込みを生成した。
• ブランドや色などの補助情報を学習プロセスに統合することで、属性カバレッジと意味的豊かさを向上させた。
• 属性予測、クリック-購入類似度、カートリターン予測という3つの異なる下流タスクで、統一された埋め込み表現を評価した。

実験結果

リサーチクエスチョン

• RQ1 1つの統一された埋め込み表現が、複数の関係のないeコマースタスクにおいて製品を効果的に表現できるか？
• RQ2 テキスト、クリックストリーム、画像といった異なるデータソースが、統一された埋め込み表現の品質に果たす寄与度は何か？
• RQ3 複数のデータソースを統合することで、リターン予測や類似度マッチングといったタスクにおいて、個別埋め込み表現よりも優れた一般化性能が得られるか？
• RQ4 補助情報および視覚的データの統合が、コールドスタートやロングテール製品シナリオにおけるパフォーマンスに与える影響は何か？
• RQ5 さまざまな下流タスクにおいて、DeepWalkベースの埋め込みと単純な統一埋め込み表現との間にパフォーマンスのトレードオフがあるか？

主な発見

• 統一された埋め込み表現は、すべての3つの下流タスクにおいて個別埋め込み表現（例：BPR-MF、DAE、IE）を上回り、優れた一般化性能を示した。
• P2VおよびDWP2Vモデルに補助情報と画像埋め込みを追加したことで、K=10におけるヒット率が最大15%向上し、特にDeepWalkベースの変種で最も顕著な向上が見られた。
• 統一された埋め込み表現は、カートリターン予測においてテストF1スコア0.89を達成し、BPR-MF（F1=0.86）およびDAE（F1=0.84）を上回った。
• DeepWalkベースの統一埋め込み表現（例：DWP2V、DWPSI2V）は、最高のF1スコア0.89を記録し、高次のユーザー-製品相互作用をモデル化する有効性を示した。
• 画像埋め込みはリターン予測にあまり寄与しなかったため、視覚的特徴はテキストやクリックストリーム信号に比べてリターン行動を予測するのにやや予測力に欠けることが示唆された。
• DeepWalkを用いない場合でも、統一埋め込み（UDWPSI2V）はF1スコア0.87を達成し、特に意図に基づくタスクにおいて優れたパフォーマンスを示した。