[논문 리뷰] A Brand-level Ranking System with the Customized Attention-GRU Model

Yu Zhu, Junxiong Zhu외 5명|arXiv (Cornell University)|2018. 05. 23.

Recommender Systems and Techniques참고 문헌 13인용 수 5

한 줄 요약

이 논문은 전자상거래 플랫폼를 위한 첫 번째 브랜드 수준 순위 매기기 시스템을 제안하며, 세 가지 핵심 수정 사항을 적용한 맞춤형 Attention-GRU 모델을 사용한다: (1) 수작업으로 만든 브랜드 특징과 학습된 임베딩의 융합, (2) 클릭과 구매 행동의 구분, (3) 시간 동적 특성을 모델링하기 위한 타임게이트 메커니즘 통합. 이 시스템은 타오바오에서 실시한 온라인 A/B 테스트에서 사용자 참여도와 GMV를 크게 향상시켰으며, GMV는 3.51% 증가하고 CTR는 0.39% 향상되었다.

ABSTRACT

In e-commerce websites like Taobao, brand is playing a more important role in influencing users' decision of click/purchase, partly because users are now attaching more importance to the quality of products and brand is an indicator of quality. However, existing ranking systems are not specifically designed to satisfy this kind of demand. Some design tricks may partially alleviate this problem, but still cannot provide satisfactory results or may create additional interaction cost. In this paper, we design the first brand-level ranking system to address this problem. The key challenge of this system is how to sufficiently exploit users' rich behavior in e-commerce websites to rank the brands. In our solution, we firstly conduct the feature engineering specifically tailored for the personalized brand ranking problem and then rank the brands by an adapted Attention-GRU model containing three important modifications. Note that our proposed modifications can also apply to many other machine learning models on various tasks. We conduct a series of experiments to evaluate the effectiveness of our proposed ranking model and test the response to the brand-level ranking system from real users on a large-scale e-commerce platform, i.e. Taobao.

연구 동기 및 목표

• 기존 전자상거래 시스템에서 브랜드가 상품과 혼합되어 있어 개인화된 브랜드 수준 순위 매기기가 부족한 문제를 해결하기 위해.
• 강한 브랜드 선호도를 가진 사용자의 상호작용 비용을 줄여 사용자 경험을 향상시키기 위해.
• 정확한 브랜드 선호도 예측을 위해 순차적 사용자 행동과 시간 동적 특성을 효과적으로 포착할 수 있는 기계학습 모델을 개발하기 위해.
• 대규모 전자상거래 플랫폼에서 오프라인 및 온라인 환경에서 제안된 시스템을 평가하기 위해.
• 모델 수정 사항의 효과를 탈락 분석 및 확장성 분석을 통해 입증하기 위해.

제안 방법

• 시스템은 브랜드 순위 매기기를 점수 기반 분류 문제로 설정하여, 각 브랜드에 대한 사용자 선호도 확률을 예측한다.
• 세 가지 핵심 수정 사항을 적용한 맞춤형 Attention-GRU 모델을 제안한다: (1) 수작업으로 만든 브랜드 특징과 학습된 임베딩의 연결, (2) 클릭과 구매 행동의 별도 처리, (3) 행동 간 시간 간격을 모델링하기 위한 타임게이트 메커니즘 통합.
• 모델은 게이트드 순환 유닛을 사용하여 사용자 행동 시퀀스의 장기적 의존성을 포착하고, 어텐션 메커니즘을 통해 과거 행동의 중요도를 가중한다.
• 특징 공학에는 브랜드 가격, 행동 빈도, 사용자 클릭 및 구매 로그에서 유도된 시간 패턴이 포함된다.
• 모델은 사용자 행동 시퀀스를 엔드 투 엔드로 훈련하며, 어텐션 가중치는 관련된 이전 행동에 동적으로 집중한다.
• 오프라인 평가는 AUC 및 F1 점수를 사용하고, 온라인 A/B 테스트는 타오바오의 타오마이(Tmall) 검색에서 CTR, ATIP, GMV를 측정한다.

실험 결과

연구 질문

• RQ1 전자상거래에서 사용자 행동 시퀀스를 어떻게 효과적으로 활용하여 개인화된 브랜드 선호도를 예측할 수 있는가?
• RQ2 순차적 모델의 브랜드 순위에서 성능을 크게 향상시키는 핵심 구성 요소는 무엇인가?
• RQ3 수작업으로 만든 브랜드 특징과 학습된 임베딩이 함께 모델 성능을 얼마나 향상시키는가?
• RQ4 행동 유형(클릭 대비 구매)과 시간 간격을 모델링하면 순위 정확도에 어떤 영향을 미치는가?
• RQ5 브랜드 수준 순위 매기기 시스템이 사용자 참여도와 비즈니스 지표에 실제 영향을 미치는 정도는 어느 정도인가?

주요 결과

• 제안된 브랜드 수준 순위 매기기 시스템은 타오바오의 타오마이 플랫폼에서 온라인 A/B 테스트에서 기준 모델 대비 GMV가 3.51% 상승했다.
• 시스템은 CTR가 0.39% 높고, ATIP(평균 거래 품목 가격)가 3.40% 높아 사용자 참여도 향상과 더 높은 품질의 구매를 나타냈다.
• 탈락 분석 결과, 세 가지 모델 수정 사항 모두 성능 향상에 기여했으며, 특히 특징-임베딩 융합(수정 사항 1)이 가장 큰 기여를 했다.
• 훈련 데이터가 커질수록 전체 모델과 탈락된 버전 간 성능 격차가 커졌으며, 이는 수정 사항 1이 더 많은 데이터에서 이점이 있음을 시사한다. 이는 높은 파라미터 수를 가진 덕분이다.
• 시스템은 이미 프로덕션 환경에 배포되어 하루 약 40만 명의 활성 사용자를 대상으로 서비스하며 실제 적용 가능성과 사용자 수용도를 입증했다.