[논문 리뷰] Online learning in repeated auctions

Jonathan Weed, Vianney Perchet외 1명|arXiv (Cornell University)|2015. 11. 18.

Advanced Bandit Algorithms Research참고 문헌 48인용 수 38

한 줄 요약

이 논문은 밴딧 피드백이 있는 반복 베이크리(이른바 바이크리) 경매에서 입찰자들이 온라인 학습 전략을 개발한다. 입찰자는 승리한 후에만 좋은 값을 학습한다. 스토하스틱 설정에서는 로그 성장률을 확보하고, 악성 설정에서는 하위선형 $\tilde{O}(\text{poly}(\text{regret}))$ 성장률을 달성하며, 최소 최대 하한선도 일치한다. 이는 이 맥락에서 입찰자들을 위한 최초의 완전한 전략 세트를 제공한다.

ABSTRACT

Motivated by online advertising auctions, we consider repeated Vickrey auctions where goods of unknown value are sold sequentially and bidders only learn (potentially noisy) information about a good's value once it is purchased. We adopt an online learning approach with bandit feedback to model this problem and derive bidding strategies for two models: stochastic and adversarial. In the stochastic model, the observed values of the goods are random variables centered around the true value of the good. In this case, logarithmic regret is achievable when competing against well behaved adversaries. In the adversarial model, the goods need not be identical and we simply compare our performance against that of the best fixed bid in hindsight. We show that sublinear regret is also achievable in this case and prove matching minimax lower bounds. To our knowledge, this is the first complete set of strategies for bidders participating in auctions of this type.

연구 동기 및 목표

• 승리 후에만 부분적인 피드백이 제공되는 반복 제2가격(베이크리) 경매에서 입찰자들을 위한 입찰 전략을 설계하기 위해.
• 학습 문제를 제한된 피드백을 가진 온라인 밴딧 설정으로 모델링하여 실제 광고 경매 동적 환경을 반영하기 위해.
• 스토하스틱 및 악성 모델 모두에서 성장률 한계를 유도하고, 후회를 과거의 최고 고정 입찰에 비해 비교하기 위해.
• 제안된 전략의 최적성과 증명하기 위해 최소 최대 하한선을 수립하기 위해.
• 특히 공변수, 복잡한 기준, 상한선과 하한선 간 격차에 관해 열려 있는 질문들을 해결하기 위해.

제안 방법

• 값과 입찰이 $[0,1]$ 범위 내에서 유한한 반복 베이크리 경매를 모델링하며, 입찰자는 승리한 후에만 결과를 관측한다.
• 밴딧 피드백이 있는 온라인 학습을 적용: 입찰자는 자신의 승패 및 지불 금액만 관측하며, 다른 입찰가들의 입찰은 알 수 없다.
• 스토하스틱(관측된 값이 진짜 값 중심의 노이즈가 있는 관측) 및 악성(임의의, 동일하지 않을 수 있는 상품) 모델에 대한 전략을 제안한다.
• KL 발산과 정보 이론적 추론을 사용하여 성장률 하한선을 도출하며, 특히 두 악성 대상자 구성 방식을 활용한다.
• 단계별 분석과 적응형 악성 대상자 전략을 활용하여 엄밀한 최소 최대 하한선을 증명하며, 로그 간격 스케일링을 활용한다.
• 푸비니 정리와 내부 난수의 평균화를 적용하여, 결정론적 전략에서 일반적인 랜덤 전략으로의 하한선 확장을 수행한다.

실험 결과

연구 질문

• RQ1 부분적(밴딧) 피드백만 있는 반복 베이크리 경매에서 효과적인 입찰 전략을 설계할 수 있는가?
• RQ2 관측된 값이 진짜 값의 노이즈 있는 추정치인 스토하스틱 모델에서 어떤 성장률 한계가 달성 가능한가?
• RQ3 상품과 값이 라운드 간에 임의로 변할 수 있는 악성 모델에서 하위선형 성장률을 달성할 수 있는가?
• RQ4 이 설정에서 성장률에 대한 최소 최대 하한선은 무엇이며, 제안된 전략의 상한선과 일치하는가?
• RQ5 상한선과 하한선 간 격차(예: $\tilde{O}(\text{poly}(\text{regret}))$ 대비 $\tilde{\theta}(\text{poly}(\text{regret}))$)는 어떻게 발생하며, 이 격차는 타당한가?

주요 결과

• 스토하스틱 모델에서, 잘 조율된 악성 대상자에 대해 로그 성장률 $O(\text{poly}(\text{regret}))$ 가 달성 가능하다.
• 악성 모델에서, 하위선형 성장률 $O(\tilde{T}^{1/2})$ 가 달성 가능하며, 이에 대응하는 최소 최대 하한선은 $\frac{1}{32}\tilde{\theta}(\text{poly}(\text{regret}))$ 수준이다.
• 최소 최대 하한선 $\frac{1}{32}\tilde{\theta}(T^{1/2}\tilde{\theta}(\text{poly}(\text{regret})))$ 가 확립되어 제안된 전략의 최적성은 입증된다.
• 하한선 증명은 적응형 입찰 수준을 가진 재귀적 악성 대상자 구성 방식을 사용하며, 단계 $i$에서 최소 간격 $2^{-i-1}$ 를 확보한다.
• 상한선과 하한선 간 격차가 최대 $\tilde{O}(\text{poly}(\text{regret}))$ 이하임을 입증하여, 상한선이 향후 개선 가능할 수 있음을 시사한다.
• 분석을 통해 제안된 전략이 악성 설정에서 로그 인자 수준까지 최적임을 확인한다.