[논문 리뷰] A game- heoretic machine learning approach for revenue maximization in sponsored search

Di He, Wei Chen외 2명|arXiv (Cornell University)|2013. 08. 03.

Consumer Market Behavior and Pricing참고 문헌 18인용 수 30

한 줄 요약

이 논문은 마르코프 모델과 비선형 최적화를 조합한 게임 이론 기반 기계학습 접근법을 제안하여 서식 광고에서 검색 엔진 수익을 극대화하는 입찰 메커니즘을 학습한다. 광고주 입찰 반응을 예측하고 수익을 실증적으로 최적화함으로써, 예측 수평이 길어질수록 기준선 대비 유의미하게 높은 수익을 달성하며, 수렴성이 입증되었다.

ABSTRACT

Sponsored search is an important monetization channel for search engines, in which an auction mechanism is used to select the ads shown to users and determine the prices charged from advertisers. There have been several pieces of work in the literature that investigate how to design an auction mechanism in order to optimize the revenue of the search engine. However, due to some unrealistic assumptions used, the practical values of these studies are not very clear. In this paper, we propose a novel game-theoretic machine learning approach, which naturally combines machine learning and game theory, and learns the auction mechanism using a bilevel optimization framework. In particular, we first learn a Markov model from historical data to describe how advertisers change their bids in response to an auction mechanism, and then for any given auction mechanism, we use the learnt model to predict its corresponding future bid sequences. Next we learn the auction mechanism through empirical revenue maximization on the predicted bid sequences. We show that the empirical revenue will converge when the prediction period approaches infinity, and a Genetic Programming algorithm can effectively optimize this empirical revenue. Our experiments indicate that the proposed approach is able to produce a much more effective auction mechanism than several baselines.

연구 동기 및 목표

• 기존 서식 광고 입찰 메커니즘 설계의 실용적 한계를 해결하기 위해, 비현실적인 가정에 의존하는 문제를 해결한다.
• 역사적 입찰 데이터를 활용해 광고주가 입찰 메커니즘에 어떻게 반응하는지 학습하는 데이터 기반 접근법을 개발한다.
• 미래 입찰 시퀀스를 예측하고 이러한 예측을 바탕으로 실증적으로 수익을 극대화함으로써 입찰 메커니즘을 최적화한다.
• 예측 수평이 증가함에 따라 실증 수익이 수렴함을 보장한다.
• 실증 평가를 통해 기준선 입찰 메커니즘 대비 뛰어난 성능을 입증한다.

제안 방법

• 역사적 입찰 데이터를 기반으로 마르코프 모델을 학습하여 광고주가 다양한 입찰 메커니즘에 어떻게 반응하는지의 확률적 동역학을 포착한다.
• 주어진 입찰 메커니즘에 대해 학습된 마르코프 모델이 시간에 따라 광고주의 향후 입찰 시퀀스를 예측한다.
• 이중 최적화 프레임워크를 통해 입찰 메커니즘을 최적화한다: 하위 수준은 입찰 시퀀스를 예측하고, 상위 수준은 이러한 예측을 바탕으로 실증 수익을 극대화한다.
• 상위 수준 최적화는 유전적 프로그래밍 알고리즘을 사용하여 고수익 입찰 메커니즘을 탐색한다.
• 안정적인 입찰 반응 동역학을 가정할 경우, 예측 기간이 무한에 가까워질수록 실증 수익이 수렴함을 보장한다.
• 경쟁자들을 전략적 에이전트로 모델링하고 기계학습으로 그 행동 패턴을 모델링함으로써 게임 이론을 통합한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 입찰 메커니즘에 대한 광고주의 전략적 입찰 조정을 효과적으로 포착할 수 있는가?
• RQ2 입찰 예측과 수익 극대화를 조합한 이중 최적화 프레임워크는 기존 입찰 설계 방법보다 뛰어난 성능을 낼 수 있는가?
• RQ3 예측 수평이 증가함에 따라 실증 수익이 수렴하는가?
• RQ4 제안된 방법은 기존 기준선 입찰 메커니즘 대비 수익 성능에서 어떻게 비교되는가?
• RQ5 유전적 프로그래밍은 복잡한 입찰 메커니즘 공간을 효과적으로 탐색하고 최적화할 수 있는가?

주요 결과

• 실험 평가를 통해 제안된 방법이 기준선 메커니즘보다 유의미하게 높은 수익을 달성하는 입찰 메커니즘을 학습함을 입증했다.
• 예측 기간이 무한에 가까워질수록 실증 수익이 수렴함을 확인하여 이론적 안정성을 검증했다.
• 마르코프 모델은 입찰 메커니즘 변화에 대한 광고주의 동적 반응을 효과적으로 포착하여 향후 입찰 시퀀스를 정확히 예측할 수 있었다.
• 유전적 프로그래밍은 복잡하고 비선형적인 입찰 메커니즘 공간을 효과적으로 탐색하여 고수익 구성 요소를 식별하는 데 성공했다.
• 게임 이론과 기계학습의 통합은 이전 이론적 연구에서 흔히 볼 수 있는 비현실적인 가정을 피하는 실용적이고 데이터 기반의 입찰 설계를 가능하게 했다.
• 강력한 실증 성능을 보이며, 서식 광고 광고 시스템에 실제 적용 가능한 잠재력을 보여주었다.