[論文レビュー] Behavior Sequence Transformer for E-commerce Recommendation in Alibaba

Qiwei Chen, Huan Zhao+3 more|arXiv (Cornell University)|May 15, 2019

Recommender Systems and Techniques参考文献 18被引用数 34

ひとこと要約

この論文は、Taobaoの推奨のためにユーザーのクリック系列をモデル化するTransformerベースのBST（Behavior Sequence Transformer）を提案し、オフラインのAUCとオンラインのCTRの改善を基準手法より示し、実運用へ展開している。

ABSTRACT

Deep learning based methods have been widely used in industrial recommendation systems (RSs). Previous works adopt an Embedding&MLP paradigm: raw features are embedded into low-dimensional vectors, which are then fed on to MLP for final recommendations. However, most of these works just concatenate different features, ignoring the sequential nature of users' behaviors. In this paper, we propose to use the powerful Transformer model to capture the sequential signals underlying users' behavior sequences for recommendation in Alibaba. Experimental results demonstrate the superiority of the proposed model, which is then deployed online at Taobao and obtain significant improvements in online Click-Through-Rate (CTR) comparing to two baselines.

研究の動機と目的

• eコマースにおけるCTR予測を向上させるために、ユーザー行動の逐次信号を捉える必要性を動機づける。
• 埋め込みとMLPのフレームワークの上に、逐次系列をモデリングするTransformerベースのアーキテクチャ（BST）を提案する。
• BSTが強力なベースラインに対してオフラインとオンラインの両方で gains を示し、Taobaoにおける本番展開を議論する。

提案手法

• 埋め込み層を用いて多様な特徴を低次元ベクトルに埋め込む。
• Transformer（自己注意）を適用してユーザー行動系列内のアイテムのより深い表現を学習する。
• 系列表現とその他の特徴を結合し、CTR予測のために3層のMLPを通す。
• アイテムの位置情報をカスタム位置エンコーディングを用いた位置特徴で組み込む。
• クロスエントロピー損失で学習し、正則化のためにドロップアウトとLayerNormを使用する。

実験結果

リサーチクエスチョン

• RQ1 Transformerベースの逐次モデリングを導入することでWDLおよびDINベースラインよりCTR予測が改善されるか？
• RQ2 BSTはベースラインおよび逐次的に強化されたWDLと比較してオフライン（AUC）およびオンライン（CTR）でどのように性能を示すか？
• RQ3 Transformerブロック数の増減は性能と本番運用の効率にどのような影響を与えるか？
• RQ4 RT（レイテンシ）およびデプロイメントの観点から大規模本番運用は可能か？

主な発見

Method	Offline AUC	Online CTR Gain	Average RT(ms)
WDL	0.7734	-	13
WDL(+Seq)	0.7846	+3.03%	14
DIN	0.7866	+4.55%	16
BST(b=1)	0.7894	+7.57%	20
BST(b=2)	0.7885	-	-
BST(b=3)	0.7823	-	-

• BSTはオフラインAUCを0.7894に向上させ、WDLおよびDINベースラインを上回る。
• BSTはコントロール群に対してb=1のとき最大のオンラインCTR向上を+7.57%達成。
• 逐次情報は単純な平均化を加えたWDL(+Seq)でも役立つが、BSTのTransformerはより豊かな逐次信号を捉える。
• 単一Transformerブロック（b=1）のBSTは最良のオフラインAUCを達成し、本番運用の遅延にも競争力を維持する。
• BSTはTaobaoのランク段階でデプロイされ、数億ユーザーにサービスを提供し、平均応答時間は許容範囲を維持した。