[논문 리뷰] Addressing Delayed Feedback for Continuous Training with Neural Networks in CTR prediction

Sofia Ira Ktena, Alykhan Tejani외 6명|arXiv (Cornell University)|2019. 07. 15.

Data Stream Mining Techniques참고 문헌 27인용 수 8

한 줄 요약

이 논문은 디스play 광고의 클릭-through 비율(CTR) 예측을 위한 신경망의 연속 학습에서 지연된 피드백 문제를 해결하기 위해 개선된 손실 함수—특히 FN 가중치와 FN 校정—을 제안한다. 학습 중에 관측되지 않은 양성 레이블의 불확실성을 모델링함으로써 이러한 방법들은 가짜 음성 레이블 편향을 감소시키며, 표준 로그 손실 대비 온라인 실험에서 1,000회 요청당 수익(RPMq)이 55% 높아져 성과를 달성한다.

ABSTRACT

One of the challenges in display advertising is that the distribution of features and click through rate (CTR) can exhibit large shifts over time due to seasonality, changes to ad campaigns and other factors. The predominant strategy to keep up with these shifts is to train predictive models continuously, on fresh data, in order to prevent them from becoming stale. However, in many ad systems positive labels are only observed after a possibly long and random delay. These delayed labels pose a challenge to data freshness in continuous training: fresh data may not have complete label information at the time they are ingested by the training algorithm. Naive strategies which consider any data point a negative example until a positive label becomes available tend to underestimate CTR, resulting in inferior user experience and suboptimal performance for advertisers. The focus of this paper is to identify the best combination of loss functions and models that enable large-scale learning from a continuous stream of data in the presence of delayed labels. In this work, we compare 5 different loss functions, 3 of them applied to this problem for the first time. We benchmark their performance in offline settings on both public and proprietary datasets in conjunction with shallow and deep model architectures. We also discuss the engineering cost associated with implementing each loss function in a production environment. Finally, we carried out online experiments with the top performing methods, in order to validate their performance in a continuous training scheme. While training on 668 million in-house data points offline, our proposed methods outperform previous state-of-the-art by 3% relative cross entropy (RCE). During online experiments, we observed 55% gain in revenue per thousand requests (RPMq) against naive log loss.

연구 동기 및 목표

• 지속적인 CTR 예측 모델 학습에서 양성 레이블(클릭)이 무작위 지연 후에만 관측되는 지연된 피드백 문제를 해결하기 위해.
• 디스플레이 광고에서 흔한 실제 데이터 분포 이탈 상황에서 여러 손실 함수—특히 새로운 것들—을 평가하고 비교하기 위해.
• 모델 성능과 생산 시스템의 확장성 유지하면서 가짜 음성 레이블을 최소화하는 손실 함수를 식별하기 위해.
• 실제 광고 트래픽에서 온라인 A/B 실험을 통해 최고 성능을 보인 방법을 검증하고, RPMq 및 수익화된 CTR와 같은 핵심 비즈니스 지표에 미치는 영향을 측정하기 위해.
• 스트리밍 학습 파이프라인에서 최소한의 인프라 비용과 낮은 지연 시간으로 이러한 손실 함수를 구현하는 데 대한 엔지니어링 가이던스를 제공하기 위해.

제안 방법

• 학습 중에 관측되지 않은 양성 레이블을 다루기 위해, 두 가지 새로운 손실 함수인 FN 가중치 손실과 FN 校정 손실을 포함한 다섯 가지 손실 함수를 제안한다.
• 중요도 샘플링 원리를 적용하여 지연된 피드백 확률에 기반해 학습 샘플을 재가중함으로써, 가짜 음성 레이블에서 비롯된 편향을 감소시킨다.
• 이중 단계 학습 전략을 적용: 초기에 즉각적인 음성 레이블로 학습한 후, 손실 재가중을 통해 지연된 양성 신호를 보정한다.
• 일반화 성능 평가를 위해 얕은(로지스틱 회귀) 및 깊은(와이드 & 딥) 신경망 아키텍처를 모두 사용한다.
• 실시간 데이터 수신 및 모델 업데이트를 허용하는 온라인 학습을 구현함으로써, 미사용된 레이블 데이터를 저장하지 않고도 분포 이탈에 대응할 수 있도록 한다.
• 피드백의 시간적 의존성을 반영하기 위해 시간에 따라 가중치를 조정함으로써 기울기 안정성과 수렴 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 다양한 손실 함수는 CTR 예측 모델의 연속 학습 중 지연된 피드백을 어떻게 다루는가?
• RQ2 어느 손실 함수가 안정적인 학습과 높은 예측 정확도를 유지하면서도 가짜 음성 레이블 편향을 최소화하는가?
• RQ3 FN 가중치와 FN 校정과 같은 새로운 손실 함수는 RCE 및 RPMq와 같은 비즈니스 지표에서 표준 로그 손실과 PU 손실을 초월할 수 있는가?
• RQ4 온라인 환경에서 PU 손실을 사용할 경우 훈련 안정성과 성능 간의 상충 관계는 어떻게 되며, 비음수 학습을 통해 안정화될 수 있는가?
• RQ5 모델 아키텍처(예: 와이드 & 딥 대비 로지스틱 회귀)는 손실 함수 선택과 어떻게 상호작용하여 성능 및 내구성에 영향을 미치는가?

주요 결과

• FN 가중치 손실과 FN 校정 손실은 공개 및 기업 내 데이터셋 모두에서 최고의 오프라인 성능을 기록했으며, 최첨단 기술 대비 상대적 교차 엔트로피(RCE)를 3% 감소시켰다.
• 온라인 실험에서 FN 가중치 손실과 FN 校정 손실은 각각 표준 로그 손실 대비 1,000회 요청당 수익(RPMq)을 55.10%와 54.37% 향상시켰다.
• 수익화된 CTR는 각각 FN 가중치와 FN 校정에서 23.01%와 23.19% 향상되어 강력한 비즈니스 영향을 입증했다.
• PU 손실은 오프라인 성능이 뛰어나지만, 온라인 학습에서 두 번째 날 안에 발산하여 실제 운영 환경에서의 불안정성을 보였다.
• 지연된 피드백 손실 함수는 단순 모델에서는 잘 작동했지만, 더 강력한 방법인 FN 校정과 FN 가중치 손실에 비해 딥 모델에서는 뒤처졌다.
• 와이드 & 딥 모델 아키텍처는 모든 손실 함수에서 로지스틱 회귀를 능가했으며, 특히 FN-가중치 또는 FN-교정 손실과 조합했을 때 두드러진 성능 향상을 보였다.