[논문 리뷰] One Model to Serve All: Star Topology Adaptive Recommender for Multi-Domain CTR Prediction

Xiang-Rong Sheng, Liqin Zhao외 9명|arXiv (Cornell University)|2021. 01. 27.

Recommender Systems and Techniques참고 문헌 45인용 수 16

한 줄 요약

이 논문은 공유된 중심 네트워크와 도메인별 어댑터를 사용하여 다수의 사업 도메인 간 공통성과 차이점을 동시에 학습하는 다도메인 CTR 예측 모델인 스타 토폴로지 적응형 추천 시스템(_STAR_)을 제안한다. 원소별 곱셈을 통해 공유된 가중치와 도메인별 가중치를 적응적으로 조합함으로써, 알리바바에서의 실사용 환경에서 CTR가 8.0% 향상되고 RPM이 6.0% 향상되었다.

ABSTRACT

Traditional industrial recommenders are usually trained on a single business domain and then serve for this domain. However, in large commercial platforms, it is often the case that the recommenders need to make click-through rate (CTR) predictions for multiple business domains. Different domains have overlapping user groups and items. Thus, there exist commonalities. Since the specific user groups have disparity and the user behaviors may change in various business domains, there also have distinctions. The distinctions result in domain-specific data distributions, making it hard for a single shared model to work well on all domains. To learn an effective and efficient CTR model to handle multiple domains simultaneously, we present Star Topology Adaptive Recommender (STAR). Concretely, STAR has the star topology, which consists of the shared centered parameters and domain-specific parameters. The shared parameters are applied to learn commonalities of all domains, and the domain-specific parameters capture domain distinction for more refined prediction. Given requests from different business domains, STAR can adapt its parameters conditioned on the domain characteristics. The experimental result from production data validates the superiority of the proposed STAR model. Since 2020, STAR has been deployed in the display advertising system of Alibaba, obtaining averaging 8.0% improvement on CTR and 6.0% on RPM (Revenue Per Mille).

연구 동기 및 목표

• 공유된 사용자-아이템 행동과 고유한 행동을 동시에 반영할 수 있는 단일 모델을 통해 다수의 사업 도메인을 지원하는 도전 과제를 해결한다.
• 단일 도메인 모델의 한계(낮은 트래픽 도메인에서의 데이터 부족)와 완전히 공유되는 모델의 한계(도메인 고유 패턴를 포착하지 못함)를 극복한다.
• 교차 도메인 데이터를 활용하면서도 각 도메인의 예측 정확도를 유지하는 효율적이고 확장 가능한 아키텍처를 설계한다.
• 변동하는 도메인 트래픽 패턴을 반영하여 실시간으로 모델을 적응시킬 수 있도록 한다.

제안 방법

• 각 사업 도메인에 대해 공유된 중심 네트워크와 도메인별 어댑터 네트워크를 갖춘 스타 토폴로지 아키텍처를 제안한다.
• 원소별 곱셈을 통해 공유된 가중치와 도메인별 가중치를 조합하여 도메인별 예측 헤드를 생성한다.
• 공유 네트워크를 모든 도메인의 데이터로 훈련시어 공통성을 학습하고, 도메인 어댑터는 도메인 고유의 데이터로 학습한다.
• 도메인 간 차별성을 강화하기 위해 적대적 손실을 갖는 보조 네트워크를 도입하여 도메인 특징 활용과 모순되지 않도록 한다.
• 변동하는 도메인 트래픽 분포 상황에서 온라인 학습의 안정성을 높이기 위해 훈련 파이프라인에 슬라이딩 윈도우 버퍼를 구현한다.
• 추론 시 각 도메인별로 완전 연결 네트워크 가중치를 사전 계산하여 저지연성을 유지하며, 공유-바텀 모델 수준의 효율성과 동일한 성능을 달성한다.

실험 결과

연구 질문

• RQ1 단일 통합 모델이 다수의 사업 도메인 간 공통 패턴과 도메인 고유 행동을 CTR 예측에서 효과적으로 포착할 수 있는가?
• RQ2 모델이 파라미터 공유와 도메인별 적응을 어떻게 균형 있게 조절하여 추론 비용을 증가시키지 않고 성능을 향상시킬 수 있는가?
• RQ3 도메인 트래픽 분포가 시간이 지남에 따라 동적으로 변화할 경우, 안정적인 온라인 학습을 보장할 수 있는 훈련 전략은 무엇인가?
• RQ4 도메인 고유 특징을 통합할 경우, 다양한 도메인에서 모델의 校정성과 예측 정확도는 어느 정도 향상되는가?
• RQ5 제안된 아키텍처가 수백 개의 사업 도메인을 포함하는 실제 생산 환경에서 뚜렷한 성능 향상을 달성할 수 있는가?

주요 결과

• STAR는 알리바바의 디스play 광고 시스템에서 이전 생산 모델(기본 모델) 대비 전체 CTR에서 8.0% 상대적 향상을 달성했다.
• 모델은 RPM(1,000회 노출당 수익)을 6.0% 향상시켜 예측 정확도 향상 외에도 뚜렷한 비즈니스 영향을 보였다.
• PCOC(Predicted CTR over CTR) 분석 결과, STAR의 예측은 모든 도메인에서 1.0에 가까운 값을 보이며 보다 우수한 校정성을 나타냈다.
• 적대적 손실을 갖는 보조 네트워크는 모든 베이스라인 방법에서 성능 향상을 지속적으로 개선했지만, MulANN의 경우 목적 간 충돌로 인해 효과가 약간 떨어졌다.
• 슬라이딩 윈도우 버퍼 훈련 전략은 연속적인 온라인 업데이트 대비 훈련 안정성을 크게 향상시켰으며, 특히 동적인 트래픽 변화 상황에서 유의미한 개선을 보였다.
• STAR는 2020년 말 이래로 실제 환경에서 60개 이상의 사업 도메인을 운영 중이며, 모델 복잡도 증가에도 불구하고 추론 속도 저하 없이 성공적으로 배포되었다.