[論文レビュー] One4all User Representation for Recommender Systems in E-commerce

Kyuyong Shin, Kwak, Hanock+5 more|arXiv (Cornell University)|May 24, 2021

Recommender Systems and Techniques参考文献 34被引用数 8

ひとこと要約

本稿では、eコマースプラットフォームで2年間にわたり収集された08億件のユーザー行動データを用いて事前学習した一般化可能なユーザー表現モデル、ShopperBERTを提案する。9つの事前学習タスクを学習することで、ShopperBERTの事前学習済み埋め込み表現は、6つの推薦およびプロファイリングタスクのうち5つにおいて、タスク固有の教師あり特徴量や強力なベースラインを上回り、優れた汎化性能と計算効率を示している。

ABSTRACT

General-purpose representation learning through large-scale pre-training has shown promising results in the various machine learning fields. For an e-commerce domain, the objective of general-purpose, i.e., one for all, representations would be efficient applications for extensive downstream tasks such as user profiling, targeting, and recommendation tasks. In this paper, we systematically compare the generalizability of two learning strategies, i.e., transfer learning through the proposed model, ShopperBERT, vs. learning from scratch. ShopperBERT learns nine pretext tasks with 79.2M parameters from 0.8B user behaviors collected over two years to produce user embeddings. As a result, the MLPs that employ our embedding method outperform more complex models trained from scratch for five out of six tasks. Specifically, the pre-trained embeddings have superiority over the task-specific supervised features and the strong baselines, which learn the auxiliary dataset for the cold-start problem. We also show the computational efficiency and embedding visualization of the pre-trained features.

研究の動機と目的

• ユーザーのプロファイリング、ターゲティング、推薦などの複数のeコマース下流タスクに適用可能な一般化可能なユーザー表現モデルの開発。
• 大規模なユーザー行動シーケンスを用いた事前学習が、初期化から訓練するモデルと比較して一般化性能を向上させるかどうかの評価。
• eコマース分野における強固で転移可能なユーザー埋め込みを学習するためのマルチタスク事前学習タスクの有効性の調査。
• 可視化を用いた埋め込みの解釈可能性と計算効率の評価を通じて、学習済みユーザー埋め込みの計算効率と解釈可能性の検証。
• 事前学習済み埋め込みの性能を、タスク固有の教師あり特徴量および既存のコールドスタートベースラインと比較すること。

提案手法

• BERTアーキテクチャを基盤とし、eコマースプラットフォームから2年間にわたり収集された08億件のユーザー行動データを用いて事前学習を行う。
• 多様なユーザー行動パターンと潜在的なユーザー嗜好を捉えるために、9つの事前学習タスクを同時に学習する。
• 下流タスクでの微調整後、[CLS]トークンの表現から最終的なユーザー埋め込みが得られる。
• 明示的なラベルを用いずに、自己教師あり学習の目的関数に依存して、順序付き行動パターンをモデル化する。
• 各下流タスクに対して、単純な多層パーセプトロン（MLP）ヘッドを用いて微調整を行う。
• 埋め込みの可視化と推論速度を用いて、解釈可能性と計算効率を評価する。

実験結果

リサーチクエスチョン

• RQ1 1つの一般化可能なユーザー表現モデルが、複数のeコマース下流タスクに効果的に適用可能か？
• RQ2 大規模でラベルなしのユーザー行動シーケンスを用いた事前学習が、初期化から訓練するモデルと比較して性能を向上させるか？
• RQ3 事前学習済み埋め込みの性能は、タスク固有の教師あり特徴量および既存のコールドスタートベースラインと比較してどうか？
• RQ4 事前学習済み埋め込みは、多様な推薦およびプロファイリングタスクにどの程度一般化可能か？
• RQ5 実世界のeコマースシステムにおいて、事前学習済み埋め込みを用いる際の計算コストと解釈可能性のトレードオフはいかほどか？

主な発見

• ShopperBERTの事前学習済み埋め込み表現は、6つの下流タスクのうち5つにおいて、初期化から訓練したより複雑なモデルを上回った。
• 補助データセットを用いたコールドスタート問題の対処に成功した強力なベースラインをも上回った。
• 単純なMLPヘッドのみを用いても、ユーザーのプロファイリング、ターゲティング、推薦タスクで最先端の性能を達成した。
• 初期化から訓練した複雑なモデルと比較して、事前学習済み埋め込みの推論速度と計算効率は顕著に優れていた。
• 学習済み埋め込みの可視化から、意味的なクラスタリングパターンが明確に観察され、ユーザー行動の意味的特徴が効果的に捉えられていることが示された。
• マルチタスク事前学習タスク戦略は、多様なeコマース応用分野におけるユーザー表現の一般化を効果的に実現した。