[논문 리뷰] Optimal No-regret Learning in Repeated First-price Auctions

Yanjun Han, Zhengyuan Zhou외 1명|arXiv (Cornell University)|2020. 03. 22.

Advanced Bandit Algorithms Research참고 문헌 55인용 수 15

한 줄 요약

이 논문은 입찰자가 승리한 입찰가격만 관찰할 수 있는 제한된 피드백을 받는 반복적 1차 입찰 경매에서 최적의 무등록 학습 알고리즘을 처음으로 제시한다. 경매의 피드백 구조와 수익 함수를 활용하여, 독립적이고 동일하게 분포된 사적 가치 조건에서는 거의 최적의 $Õ(\sqrt{T}\log^{2.5}T)$ 등록을 달성하고, 적대적 가치 조건에서는 $O(\sqrt{T}\log^3 T)$ 등록을 달성하여 이 설정에 대해 엄밀한 학습 보장을 확립한다.

ABSTRACT

We study online learning in repeated first-price auctions where a bidder, only observing the winning bid at the end of each auction, learns to adaptively bid in order to maximize her cumulative payoff. To achieve this goal, the bidder faces censored feedback: if she wins the bid, then she is not able to observe the highest bid of the other bidders, which we assume is extit{iid} drawn from an unknown distribution. In this paper, we develop the first learning algorithm that achieves a near-optimal $\widetilde{O}(\sqrt{T})$ regret bound, by exploiting two structural properties of first-price auctions, i.e. the specific feedback structure and payoff function. We first formulate the feedback structure in first-price auctions as partially ordered contextual bandits, a combination of the graph feedback across actions (bids), the cross learning across contexts (private values), and a partial order over the contexts. We establish both strengths and weaknesses of this framework, by showing a curious separation that a regret nearly independent of the action/context sizes is possible under stochastic contexts, but is impossible under adversarial contexts. In particular, this framework leads to an $O(\sqrt{T}\log^{2.5}T)$ regret for first-price auctions when the bidder's private values are \emph{iid}. Despite the limitation of the above framework, we further exploit the special payoff function of first-price auctions to develop a sample-efficient algorithm even in the presence of adversarially generated private values. We establish an $O(\sqrt{T}\log^3 T)$ regret bound for this algorithm, hence providing a complete characterization of optimal learning guarantees for first-price auctions.

연구 동기 및 목표

• 입찰자가 승리한 입찰가격만 관찰하는 반복적 1차 입찰 경매에서 거의 최적의 등록을 달성하는 학습 알고리즘을 개발하는 것.
• 입찰자가 승리할 경우 가장 높은 경쟁 입찰가격을 관찰할 수 없는 제한된 피드백의 과제를 다루는 것.
• 독립적 및 적대적 사적 가치 설정에서 1차 입찰 경매의 학습의 기본 한계를 규명하는 것.
• 1차 입찰 경매의 피드백 및 수익 구조를 모델링하기 위해 부분적으로 순서가 매겨진 컨텍스트 밴딧의 새로운 프레임워크를 수립하는 것.
• 독립적 경우에서는 정보 이론적 하한선과 일치하는 엄밀한 등록 한계를 제공하고, 적대적 경우에서는 최적의 등록 한계를 확립하는 것.

제안 방법

• 1차 입찰 경매의 피드백 및 수익 구조를 모델링하기 위해 부분적으로 순서가 매겨진 컨텍스트 밴딧이라고 불리는 일반화된 밴딧 프레임워크를 도입한다.
• 상호의존적인 보상과 적대적 설정에서의 추정 정확도 향상을 위해 새로운 간격 분할 기법을 개발한다.
• 중요도 샘플링과 상한 신뢰 구간을 결합하여 탐색과 이용을 균형 잡는 마스터 알고리즘인 ML-IS-UCB를 사용한다.
• 보상 및 확률 추정의 추정 오차를 제어하기 위해 베르누이 불등식과 농도 경계를 활용한다.
• 누적 역수 계수를 전체 입찰에 걸쳐 제한하기 위해 핵심 조합 레미마(레미마 16)를 활용하여 엄밀한 등록 분석을 가능하게 한다.
• 보류된 샘플을 사용하여 경쟁 입찰의 분포를 추정하고 UCB 구성에서 신뢰 구간을 제어한다.

실험 결과

연구 질문

• RQ1 입찰자가 승리한 입찰가격만 관찰할 수 있는 제한된 피드백을 받는 반복적 1차 입찰 경매에서 무등록 학습 알고리즘을 설계할 수 있는가? (가장 높은 경쟁 입찰가격은 관찰되지 않음)
• RQ2 독립적 사적 가치 조건 하에서 반복적 1차 입찰 경매에서 달성 가능한 최적의 등록은 무엇인가?
• RQ3 적대적 설정에서 행동 수와 컨텍스트 수에 독립적인 등록을 달성하는 것이 가능한가?
• RQ4 1차 입찰 경매의 피드백 및 수익 구조는 표준 밴딧 모델과 비교해 어떤 방식으로 학습 보장을 향상시킬 수 있는가?
• RQ5 적대적 사적 가치 조건 하에서 1차 입찰 경매의 학습에 대한 기본 한계는 무엇인가?

주요 결과

• 사적 가치가 독립적이고 동일하게 분포된 경우, 본 논문은 $O(\sqrt{T}\log^{2.5}T)$의 등록 한계를 달성하며, 이는 거의 최적이다.
• 적대적 사적 가치 조건 하에서 제안된 알고리즘은 $O(\sqrt{T}\log^3 T)$의 등록을 달성하며, 이는 정보 이론적 하한선에 로그 인자 수준에서 일치한다.
• 부분적으로 순서가 매겨진 컨텍스트 밴딧 프레임워크는 그래프 피드백, 컨텍스트 간의 교차 학습, 컨텍스트의 부분 순서 간의 상호작용을 잘 포괄한다.
• 흥미로운 분리가 확인된다: 독립적 컨텍스트 조건에서는 행동 및 컨텍스트 크기에 거의 의존하지 않는 등록이 가능하지만, 적대적 컨텍스트 조건에서는 불가능하다.
• 분석을 통해 제안된 ML-IS-UCB 정책이 중요도 샘플링과 간격 분할의 조합을 통해 보상 추정치의 고확률 농도를 달성함을 증명한다.
• 누적 역수 계수를 전체 입찰에 걸쳐 제한하기 위해 개발 및 증명된 조합 레미마(레미마 16)는 분석에서 엄밀한 등록 제어를 가능하게 한다.