[논문 리뷰] Perceive Your Users in Depth: Learning Universal User Representations from Multiple E-commerce Tasks

Yabo Ni, Dan Ou외 5명|arXiv (Cornell University)|2018. 05. 28.

Recommender Systems and Techniques참고 문헌 35인용 수 25

한 줄 요약

이 논문은 다양한 전자상거래 행동 시계열 데이터에서 유저 표현을 학습하기 위해 LSTM과 주의 메커니즘을 활용하는 다중 작업 학습 프레임워크인 딥 유저 퍼셉션 네트워크(DUPN)를 제안한다. 검색, 추천 및 기타 작업 간에 종단 간 표현을 공유함으로써 DUPN은 개인화 정확도를 향상시키고 새로운 작업으로의 효율적 전이를 가능하게 하여 타오바오에서 온라인 A/B 테스트에서 CTR 2.23% 향상과 매출 3.17% 증가를 달성한다.

ABSTRACT

Tasks such as search and recommendation have become increas- ingly important for E-commerce to deal with the information over- load problem. To meet the diverse needs of di erent users, person- alization plays an important role. In many large portals such as Taobao and Amazon, there are a bunch of di erent types of search and recommendation tasks operating simultaneously for person- alization. However, most of current techniques address each task separately. This is suboptimal as no information about users shared across di erent tasks. In this work, we propose to learn universal user representations across multiple tasks for more e ective personalization. In partic- ular, user behavior sequences (e.g., click, bookmark or purchase of products) are modeled by LSTM and attention mechanism by integrating all the corresponding content, behavior and temporal information. User representations are shared and learned in an end-to-end setting across multiple tasks. Bene ting from better information utilization of multiple tasks, the user representations are more e ective to re ect their interests and are more general to be transferred to new tasks. We refer this work as Deep User Perception Network (DUPN) and conduct an extensive set of o ine and online experiments. Across all tested ve di erent tasks, our DUPN consistently achieves better results by giving more e ective user representations. Moreover, we deploy DUPN in large scale operational tasks in Taobao. Detailed implementations, e.g., incre- mental model updating, are also provided to address the practical issues for the real world applications.

연구 동기 및 목표

• 다양한 검색 및 추천 작업 간에 유저 표현 지식을 공유하여 전자상거래에서의 최적화되지 않은 개인화 문제를 해결한다.
• 다양한 행동 시계열에서 깊은 유저 관심사를 반영하는 일반화 가능한 유니버설 유저 표현을 학습한다.
• 각 작업별 별도의 모델이 아닌 단일 통합 네트워크를 훈련시킴으로써 모델 효율성과 전이 가능성 향상.
• 타오바오의 검색 엔진과 같은 대규모 생산 시스템에서 실시간으로 확장 가능한 추론을 가능하게 한다.
• 운영 중인 딥 러닝 시스템에서 점진적 훈련과 모델 배포를 위한 실용적 지침 제공.

제안 방법

• 시간적 및 콘텐츠 특징을 함께 고려하여 클릭, 구매, 즐겨찾기 등의 순차적 유저 행동을 양방향 LSTM으로 인코딩한다.
• 콘텐츠, 행동 유형 및 시간을 기반으로 시계열 내 항목에 동적으로 가중치를 할당하는 새로운 주의 메커니즘을 적용한다.
• 종단 간 다중 작업 학습 프레임워크를 통해 CTR 예측, 랭킹, 가격 선호도 등 여러 작업 간에 유저 표현을 공유한다.
• 유저 표현 학습과 항목별 스코어링을 분리하기 위해 네트워크 분해 기법을 도입하여 효율적인 온라인 추론을 가능하게 한다.
• 전체 재학습 없이도 변화하는 유저 선호도에 적응하기 위해 매일의 미세조정을 통한 점진적 모델 업데이트를 적용한다.
• 확장 가능한 훈련과 온라인 배포를 위해 2000개의 워커를 사용하는 분산 텐서플로우 시스템을 활용한다.

실험 결과

연구 질문

• RQ1 다양한 전자상거래 작업 간에 공유된 유저 표현은 작업별 특화 모델 대비 개인화 성능 향상에 기여하는가?
• RQ2 이질적인 행동 시계열에서 유저의 동적 관심사를 포착하는 데 주의 메커니즘이 얼마나 효과적인가?
• RQ3 유니버설 유저 표현은 새로운, 알려지지 않은 작업으로 얼마나 효과적으로 전이될 수 있는가?
• RQ4 대규모 딥 러닝 모델을 생산 환경의 전자상거래 시스템에서 효율적으로 배포하고 실시간 추론을 가능하게 하는 실용적 전략은 무엇인가?
• RQ5 다중 작업 학습은 유저 표현의 강건성과 일반화 능력을 어떻게 향상시키는가?

주요 결과

• 타오바오에서 실시한 온라인 A/B 테스트 결과, DUPN 적용으로 7일간 CTR가 2.23% 향상되었고, 매출량이 3.17% 증가했다.
• 가격 선호도 분류 정밀도가 33.2%에서 44.2%로 향상되었으며, 모든 가격 수준에서 재현율이 2%~10% 향상되었다.
• 가격 선호도 작업의 총 정밀도가 33.2%에서 44.2%로 상승했으며, 특히 가장 저렴하고 가장 비싼 항목 카테고리에서 가장 두드러진 개선이 관찰되었다.
• 점진적 미세조정을 통해 훈련 시간을 3~4일에서 10시간 이내로 단축하면서도 모델 정확도와 적응 능력을 유지했다.
• 네트워크 분해 기법을 통해 각 쿼리당 한 번만 유저 표현을 계산하고 수천 개의 항목 간에 재사용함으로써 효율적인 온라인 추론이 가능했다.
• 모델는 강력한 전이 능력을 보였으며, 작업별 재학습 없이도 새로운 작업(가격 선호도)에서 높은 성능을 달성했다.