[논문 리뷰] Multi-Interest Network with Dynamic Routing for Recommendation at Tmall

Chao Li, Zhiyuan Liu외 8명|arXiv (Cornell University)|2019. 04. 17.

Recommender Systems and Techniques참고 문헌 28인용 수 51

한 줄 요약

MIND는 동적 라우팅으로 학습된 다중 벡터로 사용자 관심사를 나타내어 매칭 단계의 추천을 개선하고 모바일 앱용 티몰 홈페이지에 배포되었습니다. 공개 및 산업 데이터에서 기본 Baseline보다 우수합니다.

ABSTRACT

Industrial recommender systems usually consist of the matching stage and the ranking stage, in order to handle the billion-scale of users and items. The matching stage retrieves candidate items relevant to user interests, while the ranking stage sorts candidate items by user interests. Thus, the most critical ability is to model and represent user interests for either stage. Most of the existing deep learning-based models represent one user as a single vector which is insufficient to capture the varying nature of user's interests. In this paper, we approach this problem from a different view, to represent one user with multiple vectors encoding the different aspects of the user's interests. We propose the Multi-Interest Network with Dynamic routing (MIND) for dealing with user's diverse interests in the matching stage. Specifically, we design a multi-interest extractor layer based on capsule routing mechanism, which is applicable for clustering historical behaviors and extracting diverse interests. Furthermore, we develop a technique named label-aware attention to help learn a user representation with multiple vectors. Through extensive experiments on several public benchmarks and one large-scale industrial dataset from Tmall, we demonstrate that MIND can achieve superior performance than state-of-the-art methods for recommendation. Currently, MIND has been deployed for handling major online traffic at the homepage on Mobile Tmall App.

연구 동기 및 목표

• 기업 추천 시스템의 매칭 단계 성능 향상을 위해 다양한 사용자 관심사를 모델링하는 것을 야심적으로 제시합니다.
• 동적 라우팅에 기반한 다중 관심 추출기 층을 제안하여 사용자의 행동을 다수의 관심 벡터로 클러스터링합니다.
• 타깃 아이템을 여러 사용자 관심 벡터와 정렬하기 위해 라벨 인식 어텐션 메커니즘을 도입합니다.
• 공개 벤치마크와 대규모 티몰 산업 데이터셋에서의 효과를 시연하고, 억 단위 트래픽에 대한 운영 deployment를 논의합니다.

제안 방법

• 역사적 행동으로부터 다중 관심 추출기 층을 사용하여 K 개의 관심 벡터 V_u를 구성하고 동적 라우팅으로 관심 카슈펩을 형성하는 방식으로 사용자를 표현합니다.
• 공유된 Bilinear 매핑 S와 Behavior-to-Interest (B2I) 동적 라우팅을 사용하여 라우팅 로짓을 계산하고 관심 카슈펩을 형성합니다.
• 타깃 아이템을 평가할 때 라벨 인식 어텐션 층을 작동시켜 관심 카슈펩을 가중합합니다.
• 수십억 개 아이템을 다루기 위해 샘플링된 소프트맥스 목표를 사용하여 학습하고 Adam으로 최적화합니다.
• 서비스 시점에, 근사 최근접 이웃 검색에서 다중 사용자 벡터를 사용하여 매칭을 위한 상위 N 후보 아이템을 선택합니다.

실험 결과

연구 질문

• RQ1 다중 관심 표현이 대규모 매칭에서 단일 벡터보다 다양한 사용자 선호를 더 잘 포착할 수 있는가?
• RQ2 동적 라우팅이 과거 행동을 의미 있는 관심 카슈펩으로 클러스터링하는 데 개선을 가져오는가?
• RQ3 라벨 인식 어텐션 메커니즘이 주어진 타깃 아이템에 대해 사용자 관심을 선택하고 가중하는 데 얼마나 효과적인가?
• RQ4 관심의 수(K)가 억 규모 설정에서 오프라인 및 온라인 성능에 미치는 영향은 무엇인가?

주요 결과

Dataset	HP (K, d)	Metric	WALS	YouTube DNN	MaxMF-K-interest	MIND-1-interest	MIND-K-interest
Amazon Books	K=3, d=36	HR@10	0.0144	0.0231	0.0285	0.0273	0.0309
Amazon Books	K=3, d=36	HR@50	0.0553	0.0746	0.0862	0.0978	0.1101
Amazon Books	K=3, d=36	HR@100	0.0907	0.1143	0.1304	0.1459	0.1631
TmallData	K=5, d=64	HR@10	0.0372	0.0589	0.0628	0.0720	0.0972
TmallData	K=5, d=64	HR@50	0.0831	0.1256	0.1820	0.1512	0.2080
TmallData	K=5, d=64	HR@100	0.1126	0.1648	0.2567	0.1930	0.2699

• 다중 관심(K>1)을 가지는 MIND는 Amazon Books와 TmallData에서 HitRate@N 기준으로 베이스라인(WALS, YouTube DNN, MaxMF 변형)을 지속적으로 상회하며, 사용자의 다양성이 높을수록 더 큰 이점을 보입니다.
• 동적 라우팅 기반 다중 관심 추출은 단순 풀링(예: 평균 풀링)이나 단일 벡터 접근법(Youtube DNN)보다 더 나은 성능을 제공합니다.
• 온라인 A/B 테스트에서 5–7 관심을 가진 MIND가 최상의 CTR을 달성하며 아이템 기반 CF 및 YouTube DNN을 능가합니다. 7을 초과하면 수익이 감소하는 수익 감소 구간이 있습니다.
• 라벨 인식 어텐션은 타깃 아이템이 가장 관련성 높은 관심을 선택하고 가중하도록 허용하여 매칭 정확도 향상에 기여합니다.