[논문 리뷰] Unbiased Lift-based Bidding System

Daisuke Moriwaki, Yuta Hayakawa외 3명|arXiv (Cornell University)|2020. 07. 08.

Smart Parking Systems Research참고 문헌 13인용 수 4

한 줄 요약

이 논문은 편향된 이력 로그 데이터에서 광고 노출의 인과적 리프트 효과를 정확하게 예측함으로써 광고주 수익성을 향상시키는 비편향 리프트 기반 입찰 시스템을 제안한다. 입찰 확률 역수 스코어링을 사용해 입찰 편향을 보정함으로써, 기존 성과 기반 전략보다 우수한 실시간 A/B 테스트 성과를 달성하는 효율적이고 저비용의 입찰 전략을 가능하게 한다. 이는 인상당 비용을 24–30% 낮추면서도 도달 범위와 전환 수를 증가시킨다.

ABSTRACT

Conventional bidding strategies for online display ad auction heavily relies on observed performance indicators such as clicks or conversions. A bidding strategy naively pursuing these easily observable metrics, however, fails to optimize the profitability of the advertisers. Rather, the bidding strategy that leads to the maximum revenue is a strategy pursuing the performance lift of showing ads to a specific user. Therefore, it is essential to predict the lift-effect of showing ads to each user on their target variables from observed log data. However, there is a difficulty in predicting the lift-effect, as the training data gathered by a past bidding strategy may have a strong bias towards the winning impressions. In this study, we develop Unbiased Lift-based Bidding System, which maximizes the advertisers' profit by accurately predicting the lift-effect from biased log data. Our system is the first to enable high-performing lift-based bidding strategy by theoretically alleviating the inherent bias in the log. Real-world, large-scale A/B testing successfully demonstrates the superiority and practicability of the proposed system.

연구 동기 및 목표

• 클릭 수나 전환 수와 같은 관측된 지표를 최적화하는 기존 입찰 전략이 기저 사용자 전환 확률을 忽시하는 데 기인한 열악한 성능을 해결하기 위해.
• 과거 입찰 전략이 고입찰 노출을 선호함으로써 발생하는 학습 데이터 내 잠재적 편향을 해결하기 위해.
• 오직 편향된 로그 데이터만을 사용하여 광고 노출의 진정된 리프트 효과—즉, 광고가 사용자 행동에 미치는 인과적 영향—를 이론적으로 탄탄한 방법으로 예측하는 방법을 개발하기 위해.
• 비편향 리프트 예측을 활용해 광고주 수익을 극대화하면서도 인상당 비용을 최소화하는 확장성 있고 생산 환경에 적합한 입찰 시스템을 설계하고 구현하기 위해.

제안 방법

• 시스템은 과거 입찰에서의 선택 확률에 따라 샘플을 재가중함으로써 입찰 편향을 보정하기 위해 역입찰 확률 스코어링(IPS)을 적용한다. 이는 고입찰 승리 노출에 의해 유도된 편향을 교정한다.
• 재가중된 데이터를 기반으로 기계학습 모델을 훈련시켜, 광고가 없는 상황에서의 사용자 전환 확률—즉, 반사적 결과—를 예측함으로써 진정된 리프트 효과를 추정한다.
• 리프트 효과는 광고가 있는 경우 예측된 전환 확률과 없는 경우의 예측 전환 확률의 차이로 정의되며, 광고 영향의 인과적 추정치를 제공한다.
• 입찰 전략은 예측된 리프트 효과를 기반으로 가격을 설정하며, 광고가 있을 경우에만 전환 가능성이 높은 사용자를 우선순위로 삼아 추가 가치를 극대화한다.
• 스케일러블하고 실시간 입찰 파이프라인에 쉽게 통합 가능한 표준 기계학습 라이브러리(예: scikit-learn, XGBoost)를 사용해 시스템을 구현한다.
• 아키텍처는 실시간 추론을 지원하며 기존 DSP 워크플로우와 통합되어 확장성 있고 저지연 시간의 입찰 결정을 가능하게 한다.

실험 결과

연구 질문

• RQ1 광고의 인과적 영향으로 정의되는 예측된 리프트 효과를 기반으로 한 입찰 전략이 실시간 온라인 광고에서 기존 성과 기반 전략을 능가할 수 있는가?
• RQ2 역입찰 확률 스코어링이 과거 입찰 전략으로 인해 발생한 이력 광고 노출 로그의 편향을 어느 정도 보정할 수 있는가?
• RQ3 대규모 A/B 테스트에서 제안된 시스템은 성과 기반 입찰 대비 비용 효율성, 도달 범위, 전환율 측면에서 어떻게 성과를 내는가?
• RQ4 경쟁자 수가 줄어들고 승리 비율이 높아지면서 리프트 기반 시스템은 더 안정적이고 낮은 입찰 가격을 달성하는가?

주요 결과

• 성과 기반 전략 대비 리프트 기반 입찰 시스템은 사용자당 28% 더 많은 인상을 확보했고, 도달률은 71% 높아져 더 나은 타겟팅 효율성을 보였다.
• 클릭 수는 46% 감소했지만, 리프트 기반 시스템은 0.9% 더 많은 매장 방문과 0.4% 높은 방문자 점유율을 기록하여 더 강력한 실세계 전환 영향을 입증했다.
• 시스템은 인상당 비용, 도달당 비용, 방문당 비용을 성과 기반 전략 대비 24–30%로 낮춰 뚜렷한 비용 효율성 향상을 입증했다.
• 리프트 기반 시스템의 입찰 가격은 평균적으로 약 10배 낮았으며, 특히 피크 입찰 시간대에 성과 기반 시스템보다 훨씬 덜 변동성이 있었다.
• 성과 기반 시스템은 과도한 퍼싱과 빈번한 입찰 패배로 인해 높은 변동성을 보였지만, 리프트 기반 시스템은 경쟁자 수가 적고 승리 비율이 높아 안정적이고 낮은 입찰 가격을 유지했다.
• 온라인 A/B 테스트를 통해 시스템의 확장성과 실용성이 확인되었으며, 실제 DSP 배포 환경에서 핵심 비즈니스 KPI에서 일관된 승리가 관찰되었다.