[논문 리뷰] Multi-Armed Bandit Mechanisms for Multi-Slot Sponsored Search Auctions

Akash Das Sarma, Sujit Gujar외 1명|arXiv (Cornell University)|2010. 01. 09.

Advanced Bandit Algorithms Research참고 문헌 7인용 수 3

한 줄 요약

이 논문은 초기에 알려지지 않은 클릭률(CTR)을 가진 다중슬롯 서치 광고 경매를 위한 진실성 있는 다중 손잡이 밴딧(MAB) 메커니즘을 개발한다. 비제약적 CTR 조건 하에서는 진실성 있는 메커니즘의 최소 손실(regret)이 O(T)이지만, 클릭 순서, 근사 사전 추정치, 또는 분리 가능한 CTR와 같은 구조적 CTR 조건 하에서는 약한 점별 단조성과 약한 분리 할당이 진실성의 필수 및 충분 조건이며, 이 경우 손실은 O(T^{2/3}) 이하로 제한된다.

ABSTRACT

In pay-per click sponsored search auctions which are currently extensively used by search engines, the auction for a keyword involves a certain number of advertisers (say k) competing for available slots (say m) to display their ads. This auction is typically conducted for a number of rounds (say T). There are click probabilities mu_ij associated with each agent-slot pairs. The goal of the search engine is to maximize social welfare of the advertisers, that is, the sum of values of the advertisers. The search engine does not know the true values advertisers have for a click to their respective ads and also does not know the click probabilities mu_ij s. A key problem for the search engine therefore is to learn these click probabilities during the T rounds of the auction and also to ensure that the auction mechanism is truthful. Mechanisms for addressing such learning and incentives issues have recently been introduced and are aptly referred to as multi-armed-bandit (MAB) mechanisms. When m = 1, characterizations for truthful MAB mechanisms are available in the literature and it has been shown that the regret for such mechanisms will be O(T^{2/3}). In this paper, we seek to derive a characterization in the realistic but non-trivial general case when m > 1 and obtain several interesting results.

연구 동기 및 목표

• 초기 CTR가 알려지지 않은 다중슬롯 서치 광고 경매를 위한 진실성 있는 다중 손잡이 밴딧(MAB) 메커니즘을 설계하는 것.
• 전략적 입찰자와 완전하지 않은 CTR 정보 존재 조건 하에서 MAB 메커니즘이 진실성을 유지하는 조건을 규명하는 것.
• 비제약적, 순서 기반, 사전 추정, 분리 가능한 CTR 등 다양한 CTR 가정 하에서 진실성 있는 메커니즘의 손실 한계를 분석하는 것.
• 기존의 단일슬롯 MAB 메커니즘 결과를 다수의 경쟁 광고주와 슬롯을 가진 더 현실적인 다중슬롯 환경으로 확장하는 것.
• 시뮬레이션을 통해 제안된 진실성 있는 MAB 메커니즘의 성능을 평가하며, 평균 및 최악의 경우 손실에 중점을 두는 것.

제안 방법

• 광고주가 진정한 평가 가치를 입찰하고, 검색 엔진이 T라운드 동안 반복적인 경매를 통해 CTR를 학습하는 스토하스틱 다라운드 경매 모델을 제안한다.
• 구조적 CTR 가정 하에서 MAB 메커니즘의 진실성에 핵심적인 조건으로 약한 점별 단조성과 약한 분리 할당을 도입한다.
• 추정된 CTR(μ′)를 사용해 기대 효용 최적화 기반의 지불 규칙을 유도하여 기대값에서 진실된 입찰을 보장한다.
• 초기 탐색 단계(라운드 수 T^{2/3}) 동안 라운드로빈 할당 전략을 사용해 CTR를 추정한 후, 활용 단계로 전환한다.
• 실제 사회적 복지와 CTR 정보가 완전히 알려진 경우에 달성 가능한 최적 복지 간의 손실 분석을 수행한다.
• k=4개의 광고주와 m=2개의 슬롯을 가진 시뮬레이션을 수행하며, 100T개의 랜덤 인스턴스를 생성해 평균 및 최악의 경우 손실을 추정한다.

실험 결과

연구 질문

• RQ1 CTR가 알려지지 않은 다중슬롯 서치 광고 경매에서 할당 규칙이 어떤 조건을 만족해야 진실성 있는 메커니즘이 되는가?
• RQ2 비제약적 CTR 조건 하에서, 진실성 있는 MAB 메커니즘의 손실이 총 라운드 수 T에 따라 어떻게 변화하는가?
• RQ3 클릭 순서나 분리 가능성과 같은 구조적 특성을 만족하는 CTR 조건 하에서, 더 약한 단조성 조건(예: 약한 점별 단조성)이 진실성에 충분한가?
• RQ4 실제 CTR 가정 하에서 다중슬롯 환경에서 진실성 있는 MAB 메커니즘의 도달 가능한 손실 한계는 무엇인가?
• RQ5 시뮬레이션을 통해 진실성 있는 MAB 메커니즘의 평균 및 최악의 경우 손실 행동이 이론적 한계와 어떻게 비교되는가?

주요 결과

• 비제약적 CTR 조건 하에서는 어떤 진실성 있는 MAB 메커니즘도 강한 점별 단조성을 만족해야 하며, 이 경우 손실은 O(T) 수준이 된다.
• CTR가 클릭 순서 성질을 만족할 경우, 약한 점별 단조성이 MAB 메커니즘의 진실성에 필수적이고 충분한 조건이다.
• CTR에 대한 근사 사전 추정치가 존재할 경우, 약한 점별 단조성과 약한 분리 할당이 진실성 있는 MAB 메커니즘에 대해 필수적이고 충분한 조건이다.
• 분리 가능한 CTR(μ_ij = α_i * β_j) 조건 하에서는 기대값에서 진실성 있는 MAB 메커니즘의 특성화를 제공한다.
• 시뮬레이션 결과는 최악의 경우 손실이 O(T^{2/3}) 수준으로 증가하며, 이는 (17/3)T^{2/3}에 매우 가까이 근접함을 보여주며, 평균 손실은 (1/3)T^{2/3} 이하로 제한됨을 확인한다. 이는 이론적 한계를 확인한다.
• 실험 평가를 통해 제안된 진실성 있는 MAB 메커니즘이 평균 및 최악의 경우 모두 이론적 O(T^{2/3}) 한계 내에서 손실을 달성하는 것으로 확인되었다.