[논문 리뷰] Convergence Analysis of No-Regret Bidding Algorithms in Repeated Auctions

Zhe Feng, Guru Guruganesh외 3명|arXiv (Cornell University)|2020. 09. 14.

Advanced Bandit Algorithms Research참고 문헌 16인용 수 4

한 줄 요약

이 논문은 반복 경매에서 no-regret 입찰 알고리즘의 수렴를 분석하며, 평균 기반 학습 규칙—예를 들어 Exp3, UCB, ε-greedy—이 제2가격 경매 및 VCG 경매에서 진실된 입찰 낙찰 균형으로 수렴하고, 제1가격 경매에서는 베이지안 낙찰 균형으로 수렴함을 보여준다. 핵심 결과는 약간의 분포 가정 하에 균형으로의 고확률 수렴이며, 이는 문맥 기반 bandit 및 Deep Q-Learning 에이전트를 사용한 실험을 통해 검증되었다.

ABSTRACT

The connection between games and no-regret algorithms has been widely studied in the literature. A fundamental result is that when all players play no-regret strategies, this produces a sequence of actions whose time-average is a coarse-correlated equilibrium of the game. However, much less is known about equilibrium selection in the case that multiple equilibria exist. In this work, we study the convergence of no-regret bidding algorithms in auctions. Besides being of theoretical interest, bidding dynamics in auctions is an important question from a practical viewpoint as well. We study repeated game between bidders in which a single item is sold at each time step and the bidder's value is drawn from an unknown distribution. We show that if the bidders use any mean-based learning rule then the bidders converge with high probability to the truthful pure Nash Equilibrium in a second price auction, in VCG auction in the multi-slot setting and to the Bayesian Nash equilibrium in a first price auction. We note mean-based algorithms cover a wide variety of known no-regret algorithms such as Exp3, UCB, $ε$-Greedy etc. Also, we analyze the convergence of the individual iterates produced by such learning algorithms, as opposed to the time-average of the sequence. Our experiments corroborate our theoretical findings and also find a similar convergence when we use other strategies such as Deep Q-Learning.

연구 동기 및 목표

• 다양한 균형이 존재하는 반복 경매에서 no-regret 학습을 사용할 경우 어떤 균형이 도출되는가를 이해하는 것.
• 제2가격, VCG, 제1가격 경매에서 평균 기반 학습 규칙이 특정 균형으로 수렴할 수 있는 이론적 조건을 확립하는 것.
• 시간 평균뿐만 아니라 개별 반복 동작의 수렴을 분석하여, 더 넓은 범위의 조건부 균형을 넘어서는 것.
• 첫 번째 및 두 번째 가격 경매 설정에서 ε-greedy 및 Deep Q-Learning 에이전트를 사용하여 이론적 결과를 실험적으로 검증하는 것.

제안 방법

• 반복 경매에서 입찰자의 핵심 입찰 전략으로 평균 기반 학습 규칙—예를 들어 Exp3, UCB, ε-greedy—를 사용한다.
• 수렴을 보장하기 위해 경쟁 입찰자의 입찰 분포에 두꺼움 조건(가정 4.2)을 적용한다.
• 두꺼움 조건 하에 개별 입찰(시간 평균이 아닌)이 균형 전략으로 고확률 수렴함을 증명한다.
• 잔류 및 이탈 범위 분석을 통해 제2가격 및 VCG 경매에서 진실된 입찰이 우세함을 보여주는 이론적 분석을 수행한다.
• i.i.d. 가치 추출 하에 베이지안 낙찰 균형을 모델링하여 제1가격 경매로 분석을 확장하고, 균형 입찰으로의 수렴을 증명한다.
• 균형 분포가 균일한 값 분포를 가진 첫 번째 및 두 번째 가격 경매에서 문맥 기반 ε-greedy 및 Deep Q-Learning 에이전트를 사용한 시뮬레이션을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 다양한 균형이 존재하는 반복 경매에서 no-regret 학습 알고리즘이 특정 균형으로 수렴하는 조건은 무엇인가?
• RQ2 시간 평균이 아닌 개별 입찰 시퀀스(개별 반복)가 평균 기반 학습 하에 균형으로 수렴하는가?
• RQ3 ε-greedy 및 Deep Q-Learning 등의 평균 기반 학습 규칙이 제2가격 및 VCG 경매에서 진실된 균형으로 이끌 수 있는가?
• RQ4 동일한 학습 동역학 하에서 제1가격 경매와 제2가격 경매의 수렴 행동은 어떻게 다를까?
• RQ5 경쟁 입찰자의 분포에 대한 두꺼움 가정이 반복 경매 설정에서 균형으로의 수렴을 보장하는가?

주요 결과

• 두꺼움 가정이 성립하고 T₀가 충분히 클 경우, 각각의 γt-평균 기반 학습자는 고확률로 반복적인 다중 포지션 VCG 경매에서 진실된 입찰로 수렴한다.
• 제2가격 및 VCG 경매에서, 고정된 평가 가치에 대해 진실된 입찰이 선택될 확률은 최소 1 - Hγt - 4exp(−τ²ρ²T₀/(32n²H²)) 이상이다.
• i.i.d. 균일 가치 추출을 가진 제1가격 경매에서, ε-greedy 및 Deep Q-Learning 에이전트는 베이지안 낙찰 균형(BNE)으로 수렴하며, 이중 입찰자 케이스에서는 각 입찰자가 자신의 진정한 가치의 절반을 입찰한다.
• 실험 결과, ε-greedy 및 Deep Q-Learning 에이전트가 첫 번째 및 두 번째 가격 경매 모두에서 BNE로 수렴함을 보여주며, 평균 보상이 이론적 균형 유틸리티에 가까워진다.
• 에이전트 수가 증가함에 따라 수렴이 강인함을 입증하였으며, 두 명 이상의 입찰자에 대한 실험에서 BNE로의 수렴이 여전히 관찰되었다.
• 탐색 확률 ε가 0.05로 제한되어 있어도, 에이전트의 입찰 행동은 BNE에 매우 가까이 수렴하며, 평균 보상의 격차는 작게 유지된다.