[論文レビュー] Multi-Interest Network with Dynamic Routing for Recommendation at Tmall

Chao Li, Zhiyuan Liu+8 more|arXiv (Cornell University)|Apr 17, 2019

Recommender Systems and Techniques参考文献 28被引用数 51

ひとこと要約

MINDは動的ルーティングを介して学習した複数のベクトルでユーザーの関心を表現し、マッチング段階の推奨を改善。モバイルアプリ向け天猫ホームページへデプロイされている。公的データと産業データでベースラインを上回る。

ABSTRACT

Industrial recommender systems usually consist of the matching stage and the ranking stage, in order to handle the billion-scale of users and items. The matching stage retrieves candidate items relevant to user interests, while the ranking stage sorts candidate items by user interests. Thus, the most critical ability is to model and represent user interests for either stage. Most of the existing deep learning-based models represent one user as a single vector which is insufficient to capture the varying nature of user's interests. In this paper, we approach this problem from a different view, to represent one user with multiple vectors encoding the different aspects of the user's interests. We propose the Multi-Interest Network with Dynamic routing (MIND) for dealing with user's diverse interests in the matching stage. Specifically, we design a multi-interest extractor layer based on capsule routing mechanism, which is applicable for clustering historical behaviors and extracting diverse interests. Furthermore, we develop a technique named label-aware attention to help learn a user representation with multiple vectors. Through extensive experiments on several public benchmarks and one large-scale industrial dataset from Tmall, we demonstrate that MIND can achieve superior performance than state-of-the-art methods for recommendation. Currently, MIND has been deployed for handling major online traffic at the homepage on Mobile Tmall App.

研究の動機と目的

• 産業向けレコメンダーシステムにおけるマッチング段階を改善するため、多様なユーザー関心のモデリングを動機づける。
• ダイナミックルーティングに基づくマルチインタレスト抽出層を提案し、ユーザーの行動を複数の関心ベクトルへクラスタリングする。
• 複数のユーザー関心ベクトルとターゲットアイテムを整合させるためのラベル認識型アテンション機構を導入する。
• 公開ベンチマークと大規模な天猫産業データセットでの有効性を示し、十億規模のトラフィックに対するデプロイについて論じる。

提案手法

• 歴史的行動から K 個の関心ベクトル V_u でユーザーを表現する。ダイナミックルーティングを用いて関心カプセルを形成するマルチインタレスト抽出層。
• 共有された二次写像 S と Behavior-to-Interest (B2I) のダイナミックルーティングを用いてルーティングロジットを計算し、関心カプセルを形成する。
• ターゲットアイテムを評価する際に、ラベル認識型アテンション層を活性化して関心カプセルに重み付けと結合を行う。
• 数十億件のアイテムを扱うためにサンプリングされたソフトマックス目的関数で訓練し、Adam で最適化する。
• 提供時には、近似最近傍探索で複数のユーザー ベクトルを用いてマッチングの上位-N 件の候補アイテムを選択する。

実験結果

リサーチクエスチョン

• RQ1 産業規模のマッチングにおいて、複数の関心表現は1つのベクトルよりも多様なユーザー嗜好をよりよく捉えられるか？
• RQ2 ダイナミックルーティングは、過去の行動を推奨のための意味ある関心カプセルにクラスタリングするのを改善するか？
• RQ3 与えられたターゲットアイテムに対して、ラベル認識型アテンション機構がユーザー関心を選択・重み付けする効果はどれほどか？
• RQ4 億規模の設定における関心の数(K)がオフラインおよびオンラインの性能に与える影響は何か？

主な発見

データセット	ハイパーパラメータ(K, d)	指標	WALS	YouTube DNN	MaxMF-K-interest	MIND-1-interest	MIND-K-interest
Amazon Books	K=3, d=36	HR@10	0.0144	0.0231	0.0285	0.0273	0.0309
Amazon Books	K=3, d=36	HR@50	0.0553	0.0746	0.0862	0.0978	0.1101
Amazon Books	K=3, d=36	HR@100	0.0907	0.1143	0.1304	0.1459	0.1631
TmallData	K=5, d=64	HR@10	0.0372	0.0589	0.0628	0.0720	0.0972
TmallData	K=5, d=64	HR@50	0.0831	0.1256	0.1820	0.1512	0.2080
TmallData	K=5, d=64	HR@100	0.1126	0.1648	0.2567	0.1930	0.2699

• 複数の関心(K>1)を持つ MIND は、Amazon Books と TmallData における HitRate@N でベースライン（WALS、YouTube DNN、MaxMF 系）を一貫して上回す。ユーザーの多様性が高いほど利得は大きい。
• ダイナミックルーティングに基づくマルチインタレスト抽出は、単純なプーリング（例：平均プーリング）やYouTube DNNのような単一ベクトルアプローチよりも性能が良い。
• オンラインA/Bテストでは、5–7個の関心を持つ MIND が最も良いCTRを達成し、アイテムベースCFおよびYouTube DNNを上回る。7を超えるとリターンが頭打ちになる。
• ラベル認識型アテンションはターゲットアイテムが最も関連する関心を選択・重み付けすることを可能にし、マッチング精度の向上に寄与する。