[논문 리뷰] Warm Up Cold-start Advertisements: Improving CTR Predictions via Learning to Learn ID Embeddings

Feiyang Pan, Shuokai Li외 3명|arXiv (Cornell University)|2019. 04. 25.

Recommender Systems and Techniques참고 문헌 43인용 수 29

한 줄 요약

이 논문은 새로운 광고 ID에 대해 냉각기 및 준비기 단계 동안 클릭-through 비율(CTR) 예측 성능을 향상시키기 위해 고품질의 초기 임베딩을 생성하는 메타학습 접근법인 메타임베딩을 제안한다. 기존에 학습된 광고를 기반으로 기울기 기반 메타학습을 사용해 매개변수화된 임베딩 생성기를 훈련시킴으로써, 실제 데이터셋에서 최신의 6개의 CTR 모델에 대해 랜덤 또는 룩업 기반 초기화보다 더 빠른 수렴과 향상된 성능을 달성한다.

ABSTRACT

Click-through rate (CTR) prediction has been one of the most central problems in computational advertising. Lately, embedding techniques that produce low-dimensional representations of ad IDs drastically improve CTR prediction accuracies. However, such learning techniques are data demanding and work poorly on new ads with little logging data, which is known as the cold-start problem. In this paper, we aim to improve CTR predictions during both the cold-start phase and the warm-up phase when a new ad is added to the candidate pool. We propose Meta-Embedding, a meta-learning-based approach that learns to generate desirable initial embeddings for new ad IDs. The proposed method trains an embedding generator for new ad IDs by making use of previously learned ads through gradient-based meta-learning. In other words, our method learns how to learn better embeddings. When a new ad comes, the trained generator initializes the embedding of its ID by feeding its contents and attributes. Next, the generated embedding can speed up the model fitting during the warm-up phase when a few labeled examples are available, compared to the existing initialization methods. Experimental results on three real-world datasets showed that Meta-Embedding can significantly improve both the cold-start and warm-up performances for six existing CTR prediction models, ranging from lightweight models such as Factorization Machines to complicated deep models such as PNN and DeepFM. All of the above apply to conversion rate (CVR) predictions as well.

연구 동기 및 목표

• 효과적인 임베딩 학습을 위한 충분한 훈련 데이터가 없는 신규 광고에서 발생하는 냉각기 문제를 해결한다.
• 신규 광고의 냉각기 및 준비기 단계 성능을 향상시키기 위해 더 나은 초기 임베딩을 학습한다.
• 임베딩과 MLP 아키텍처를 갖춘 다양한 딥러닝 기반 CTR 모델에 적용 가능한 일반화 가능한 방법을 개발한다.
• 출시 후 몇 개의 레이블이 있는 예시만으로도 새로운 광고 임베딩에 신속하게 적응할 수 있도록 한다.
• 대표성 학습과 메타학습을 융합하여 온라인 광고 시스템의 성능을 향상시킨다.

제안 방법

• 신규 광고 ID의 특성과 속성을 바탕으로 초기 임베딩을 생성하는 임베딩 생성기를 훈련시키는 메타학습 프레임워크를 제안한다.
• 메타학습 기간 동안 이전에 훈련된 광고를 대상으로 두 단계의 시뮬레이션을 수행하여 냉각기 및 준비기 시나리오를 모의한다.
• 기울기 기반 메타학습(MAML 기반)을 활용해 생성기가 새로운 광고 작업에 일반화되도록 최적화한다.
• 냉각기 및 준비기 성능를 균형 있게 조절하는 통합 손실 함수를 사용해 생성기를 훈련시킨다.
• 추론 단계에서는 새로운 광고 특성을 훈련된 생성기에 입력하여 초기 임베딩을 생성하며, 이는 랜덤 또는 룩업 기반 초기화를 대체한다.
• 기존의 CTR 모델(FM, PNN, DeepFM 등)에 메타임베딩 생성기를 통합할 수 있으며, 아키텍처 변경 없이도 가능하다.

실험 결과

연구 질문

• RQ1 메타학습 접근법이 신규 광고의 냉각기 단계에서 CTR 예측 정확도를 크게 향상시킬 수 있는가?
• RQ2 제안된 메타임베딩 방법이 제한된 레이블 데이터로 준비기 단계에서 모델 수렴을 가속화하는가?
• RQ3 동일한 메타학습된 임베딩 생성기가 임베딩과 MLP 구성 요소를 갖춘 다양한 딥 CTR 모델에 일반화 가능한가?
• RQ4 냉각기 및 준비기 성능 측면에서 메타임베딩은 랜덤 또는 룩업 기반 초기화보다 어떻게 비교되는가?
• RQ5 이 방법은 유사한 향상 효과를 보이며 전환율(CVR) 예측으로 확장 가능한가?

주요 결과

• 메타임베딩은 세 개의 실세계 데이터셋에서 최신의 6개의 CTR 모델에 대해 냉각기 단계에서 CTR 예측 성능을 크게 향상시킨다.
• 이 방법은 준비기 단계에서 모델 수렴 속도를 가속화하여, 기준 초기화 방법보다 적은 수의 레이블 예시로도 더 높은 성능을 달성한다.
• 실험 결과 냉각기 및 준비기 단계 모두에서 일관된 성능 향상이 관찰되었으며, 경량 모델(Factorization Machines 등)과 딥 모델(PNN, DeepFM 등) 모두에서 개선 효과가 확인되었다.
• 제안된 방법은 랜덤 및 룩업 기반 초기화보다 우수한 성능을 보이며, 신규 광고 ID에 대한 메타학습된 임베딩의 효과를 입증한다.
• 메타임베딩은 전환율(CVR) 예측 성능 향상에도 기여하여 온라인 광고 작업에 광범위하게 적용 가능함을 시사한다.
• 이 방법은 기존의 CTR 예측에 사용되는 딥러닝 아키텍처와 일반화 가능하며, 모델 재학습이나 구조적 변경 없이도 적용 가능하다.