[논문 리뷰] A Game-theoretic Machine Learning Approach for Revenue Maximization in Sponsored Search

Di He, Wei Chen외 2명|arXiv (Cornell University)|2014. 06. 03.

Consumer Market Behavior and Pricing참고 문헌 13인용 수 20

한 줄 요약

이 논문은 광고주 입찰 행동의 마르코프 모델링과 이중 최적화를 결합하여 검색 엔진 수익을 극대화하는 경매 메커니즘 설계를 위한 게임 이론 기반 기계학습 접근법을 제안한다. 새로운 메커니즘에 대한 입찰 반응을 예측하고 실증 수익을 최적화함으로써, 기존 기준보다 8.9% 높은 수익을 달성하며, 최첨단 방법보다 통계적으로 유의미한 성과를 내며, 이차적 입찰 조정 효과를 효과적으로 다룬다.

ABSTRACT

Sponsored search is an important monetization channel for search engines, in which an auction mechanism is used to select the ads shown to users and determine the prices charged from advertisers. There have been several pieces of work in the literature that investigate how to design an auction mechanism in order to optimize the revenue of the search engine. However, due to some unrealistic assumptions used, the practical values of these studies are not very clear. In this paper, we propose a novel \emph{game-theoretic machine learning} approach, which naturally combines machine learning and game theory, and learns the auction mechanism using a bilevel optimization framework. In particular, we first learn a Markov model from historical data to describe how advertisers change their bids in response to an auction mechanism, and then for any given auction mechanism, we use the learnt model to predict its corresponding future bid sequences. Next we learn the auction mechanism through empirical revenue maximization on the predicted bid sequences. We show that the empirical revenue will converge when the prediction period approaches infinity, and a Genetic Programming algorithm can effectively optimize this empirical revenue. Our experiments indicate that the proposed approach is able to produce a much more effective auction mechanism than several baselines.

연구 동기 및 목표

• 자유로운 정보나 이성적 행동을 전제로 하는 기존의 경매 메커니즘 설계 방법의 한계를 해결하기 위해, 스폰서드 서치에서의 현실적인 가정이 부족한 점을 해결한다.
• 광고주가 새로운 메커니즘에 대응해 입찰을 조정하는 이차 효과를 모델링하여, 동적인 입찰 행동을 다루기 위해 이를 극복한다.
• 광고주 행동을 동시에 학습하고 장기 수익을 극대화하기 위해 이중 최적화 프레임워크를 개발한다.
• 예측된 입찰 시퀀스 하에서 실증 수익이 수렴함을 입증함으로써, 메커니즘의 신뢰성 있는 최적화를 가능하게 한다.
• GSP, 최악의 경우 분석, 직접 학습된 메커니즘을 포함한 기준 기반 모델들과의 비교를 통해 실제 시뮬레이션에서의 성능을 검증한다.

제안 방법

• 역사적 입찰 데이터에서 시간에 독립적인 마르코프 모델을 학습하여 광고주가 KPI 신호(노출 수, 클릭 수, CPC)에 따라 어떻게 입찰를 조정하는지 기술한다.
• 500회 반복하는 경사 하강법을 사용하여 최대우도 추정을 통해 마르코프 전이 행렬을 추정한다.
• 학습된 마르코프 모델을 사용해 어떤 후보 경매 메커니즘에 대해서도 향후 입찰 시퀀스를 예측한다.
• 유한한 시간 창(N=1000) 내 예측된 입찰 시퀀스에 대한 기대 수익으로 실증 수익을 정의한다.
• 예측된 실증 수익을 극대화하기 위해, 예를 들어 품질 점수 가중치와 같은 경매 메커니즘 파라미터를 최적화하기 위해 유전적 프로그래밍을 적용한다.
• 실제 광고주 행동을 시뮬레이션하기 위해 세 가지 행동 유형(Best-Response, Analytical, Stable)의 혼합 모델을 사용한다.

실험 결과

연구 질문

• RQ1 역동적인 광고주 입찰 반응을 포착하는 기계학습 모델이 역사적 데이터에 대한 정적 최적화를 넘어서 경매 메커니즘 설계를 향상시킬 수 있는가?
• RQ2 광고주가 새로운 메커니즘에 대응해 입찰를 조정하는 이차 효과가 직접 학습된 경매 메커니즘의 성능에 어떤 영향을 미치는가?
• RQ3 광고주 행동의 게임 이론적 모델링과 수익 극대화를 결합한 이중 최적화 프레임워크가 더 효과적인 경매 메커니즘을 도출할 수 있는가?
• RQ4 입찰 예측 시퀀스 길이가 무한에 가까워질수록 예측된 입찰 시퀀스 하에서 실증 수익이 안정적이고 수렴하는가?
• RQ5 유전적 프로그래밍이 현실적인 광고주 반응 모델 하에서 장기 수익을 극대화하는 경매 메커니즘을 효과적으로 탐색할 수 있는가?

주요 결과

• 제안된 BOA 방법은 표준 GSP 경매 메커니즘 대비 상대적 수익 향상 8.9%를 달성하였으며, 통계적으로 유의미하다(p-value = 0.05).
• 최악의 경우 분석(WCA) 기반 기준은 GSP 대비 단지 2.2% 향상되었고 통계적으로 유의미하지 않아 실용적 이점이 제한됨을 시사한다.
• 이차 효과를 忽시하는 직접 학습된 경매(DLA) 모델은 GSP보다 4.8% 성능이 열 劣하며 통계적으로 유의미하여, 단순한 기계학습 방법의 성능 저하가 입찰 조정에 의해 심각하게 악화됨을 입증한다.
• 입찰 예측 시퀀스 길이가 무한에 가까워질수록 실증 수익이 수렴함을 확인하여, 이중 최적화 프레임워크의 이론적 기반을 검증한다.
• BOA 방법은 WCA와 DLA를 모두 뛰어넘어, 메커니즘 설계에서 입찰 반응 역학을 모델링하는 것이 효과적임을 입증한다.
• 100개의 무작위 계수 샘플을 사용한 BRM, AM, SBM의 혼합 모델은 평가의 강건성과 일반화 능력을 보장한다.