[論文レビュー] Perceive Your Users in Depth: Learning Universal User Representations from Multiple E-commerce Tasks

Yabo Ni, Dan Ou+5 more|arXiv (Cornell University)|May 28, 2018

Recommender Systems and Techniques参考文献 35被引用数 25

ひとこと要約

本稿では、複数のタスクにまたがる異種の電子商取引行動シーケンスから普遍的なユーザー表現を学習するため、LSTMとアテンションメカニズムを活用したマルチタスク学習フレームワーク「Deep User Perception Network (DUPN)」を提案する。検索、レコメンド、その他のタスク間でエンドツーエンドに表現を共有することで、パーソナライゼーションの精度を向上させ、新しいタスクへの効率的な転送を可能にし、淘宝（Taobao）でのオンラインA/BテストでCTRが2.23%増加、売上高が3.17%増加を達成した。

ABSTRACT

Tasks such as search and recommendation have become increas- ingly important for E-commerce to deal with the information over- load problem. To meet the diverse needs of di erent users, person- alization plays an important role. In many large portals such as Taobao and Amazon, there are a bunch of di erent types of search and recommendation tasks operating simultaneously for person- alization. However, most of current techniques address each task separately. This is suboptimal as no information about users shared across di erent tasks. In this work, we propose to learn universal user representations across multiple tasks for more e ective personalization. In partic- ular, user behavior sequences (e.g., click, bookmark or purchase of products) are modeled by LSTM and attention mechanism by integrating all the corresponding content, behavior and temporal information. User representations are shared and learned in an end-to-end setting across multiple tasks. Bene ting from better information utilization of multiple tasks, the user representations are more e ective to re ect their interests and are more general to be transferred to new tasks. We refer this work as Deep User Perception Network (DUPN) and conduct an extensive set of o ine and online experiments. Across all tested ve di erent tasks, our DUPN consistently achieves better results by giving more e ective user representations. Moreover, we deploy DUPN in large scale operational tasks in Taobao. Detailed implementations, e.g., incre- mental model updating, are also provided to address the practical issues for the real world applications.

研究の動機と目的

• 複数の検索およびレコメンドタスクにまたがるユーザー表現知識の共有によって、電子商取引におけるパーソナライゼーションの最適化を図ること。
• 多様な行動シーケンスから、ユーザーの深い関心を反映する普遍的で一般化可能なユーザー表現を学習すること。
• 個々のタスクごとに別々のモデルを学習するのではなく、1つの統合ネットワークを学習することで、モデルの効率性と転送可能性を向上させること。
• 淘宝の検索エンジンのような大規模な生産システムにおいて、リアルタイムかつスケーラブルな推論を可能にすること。
• 運用中のディープラーニングシステムにおける段階的トレーニングおよびモデルデプロイメントの実用的ガイドラインを提供すること。

提案手法

• 双方向LSTMを活用して、クリック、購入、お気に入り登録などの行動に加え、時間的要因とコンテンツ特徴を組み合わせた、順序付きユーザー行動を符号化する。
• コンテンツ、行動タイプ、時間に基づいて、シーケンス内のアイテムに動的重みを割り当てる、新規のアテンションメカニズムを採用する。
• CTR予測、ランク付け、価格好みなど、複数のタスク間でユーザー表現をエンドツーエンドのマルチタスク学習フレームワークで共有する。
• ユーザー表現学習とアイテム固有のスコアリングを分離するネットワークディスアライメントを導入し、効率的なオンライン推論を実現する。
• 完全再トレーニングを避け、毎日微調整を行う段階的モデルアップデートを適用し、進化するユーザーの好みに適応する。
• 2000台のワーカーを備えた分散TensorFlowシステムを活用して、スケーラブルなトレーニングとオンラインデプロイメントを実現する。

実験結果

リサーチクエスチョン

• RQ1 複数の電子商取引タスクにまたがって学習された共有ユーザー表現は、タスク固有のモデルと比較して、パーソナライゼーションパフォーマンスを向上させるか？
• RQ2 異種の行動シーケンスからの動的なユーザー関心を捉えるために、アテンションメカニズムはどの程度効果的か？
• RQ3 普遍的なユーザー表現は、未確認の新しいタスクへどの程度転送可能か？
• RQ4 大規模な生産環境における電子商取引システムで、大規模ディープラーニングモデルの効率的デプロイメントとリアルタイム推論を可能にする実用的戦略は何か？
• RQ5 マルチタスク学習は、ユーザー表現のロバストネスと一般化性能をどのように向上させるか？

主な発見

• 淘宝でのオンラインA/Bテストでは、DUPNを用いることで7日間でクリック率（CTR）が2.23%増加、売上高が3.17%増加した。
• 価格好み分類の正確性（precision）は33.2%から44.2%に向上し、すべての価格帯で再現率（recall）が2%〜10%向上した。
• 価格好みタスク全体の正確性は33.2%から44.2%に上昇し、特に最も安価および最も高価な商品カテゴリーで最も顕著な改善が見られた。
• 段階的微調整により、トレーニング時間は3〜4日から10時間未満に短縮され、モデルの正確性と適応性を維持した。
• ネットワークディスアライメントにより、1回のクエリごとにユーザー表現を一度計算し、数千のアイテムに再利用することで、効率的なオンライン推論が可能になった。
• モデルは強く転送可能であり、タスク固有の再トレーニングなしで、新しいタスク（価格好み）においても高いパフォーマンスを発揮した。