[논문 리뷰] Learning to Bid Optimally and Efficiently in Adversarial First-price Auctions

Yanjun Han, Zhengyuan Zhou외 3명|arXiv (Cornell University)|2020. 07. 09.

Advanced Bandit Algorithms Research참고 문헌 64인용 수 11

한 줄 요약

이 논문은 적대적 1차 입찰 경매에서 최초로 최소최대 최적의 온라인 입찰 알고리즘을 제안하며, 리프시츠 입찰 정책에 대해 $×plantilde{O}(√{T})$의 손해를 기록한다. 계층적 전문가 체인 프레임워크와 계산적으로 효율적인 SEW 정책을 도입하여 입찰 공간 내의 곱 구조를 활용함으로써 최적의 손해를 유지한다.

ABSTRACT

First-price auctions have very recently swept the online advertising industry, replacing second-price auctions as the predominant auction mechanism on many platforms. This shift has brought forth important challenges for a bidder: how should one bid in a first-price auction, where unlike in second-price auctions, it is no longer optimal to bid one's private value truthfully and hard to know the others' bidding behaviors? In this paper, we take an online learning angle and address the fundamental problem of learning to bid in repeated first-price auctions, where both the bidder's private valuations and other bidders' bids can be arbitrary. We develop the first minimax optimal online bidding algorithm that achieves an $\widetilde{O}(\sqrt{T})$ regret when competing with the set of all Lipschitz bidding policies, a strong oracle that contains a rich set of bidding strategies. This novel algorithm is built on the insight that the presence of a good expert can be leveraged to improve performance, as well as an original hierarchical expert-chaining structure, both of which could be of independent interest in online learning. Further, by exploiting the product structure that exists in the problem, we modify this algorithm--in its vanilla form statistically optimal but computationally infeasible--to a computationally efficient and space efficient algorithm that also retains the same $\widetilde{O}(\sqrt{T})$ minimax optimal regret guarantee. Additionally, through an impossibility result, we highlight that one is unlikely to compete this favorably with a stronger oracle (than the considered Lipschitz bidding policies). Finally, we test our algorithm on three real-world first-price auction datasets obtained from Verizon Media and demonstrate our algorithm's superior performance compared to several existing bidding algorithms.

연구 동기 및 목표

• 진술된 입찰이 더 이상 최적의 전략이 아니며 입찰자들이 다른 이들의 전략을 모른다는 조건에서 최적의 입찰을 수행하는 데 도전하는 것.
• 리프시츠 입찰 정책의 강력한 오라클에 대해 손해를 최소화하는 온라인 학습 알고리즘을 개발하는 것. 이 클래스는 많은 현실적인 입찰 전략을 포함한다.
• 같은 가정 하에 더 나은 성능을 내는 알고리즘이 존재할 수 없음을 증명함으로써 손해에서 최소최대 최적성을 확보하는 것.
• 입찰 공간의 곱 구조를 활용하여 최적 알고리즘의 계산적으로 효율적인 변형을 설계함으로써 실용적인 구현 가능성을 확보하는 것.
• 버라이즌 미디어의 실세계 입찰 데이터를 바탕으로 기존 입찰 전략보다 뛰어난 성능을 보여주는 것.

제안 방법

• 온라인 학습에서 좋은 전문가의 존재를 동적으로 활용하여 손해 한계를 향상시키는 계층적 전문가 체인 메커니즘을 제안하는 것.
• 전문가가 리프시츠 클래스 내의 다양한 입찰 정책을 나타내는 예측과 전문가 조언 프레임워크로 입찰 문제를 모델링하는 것.
• 새로운 연속 전문가 집합을 도입하고 이전 성과에 기반해 정책 선택을 계층적으로 반복적으로 개선하는 구조를 사용하는 것.
• 이전 성과와 불확실성에 기반한 가중치를 할당함으로써 탐색과 이용의 균형을 이루는 SEW(Semi-Exploitative Weighting) 정책을 설계하는 것.
• 입찰 공간의 곱 구조를 활용하여 문제를 분해하고, 손해 최적성의 흐름을 흔들지 않으면서도 효율적인 계산을 가능하게 하는 것.
• 판노의 부등식과 정보 이론적 도구를 적용하여 손해의 날카로운 하한을 유도하고, 제안된 알고리즘의 최소최대 최적성을 증명하는 것.

실험 결과

연구 질문

• RQ1 임의의 입찰자 평가와 입찰을 가진 적대적 1차 입찰 경매에서 최소최대 최적의 손해를 기록하는 온라인 입찰 알고리즘을 설계할 수 있는가?
• RQ2 온라인 학습에서 좋은 전문가의 존재를 효과적으로 활용하여 1차 입찰 경매에서의 입찰 성능을 향상시킬 수 있는가?
• RQ3 계산적 및 공간 효율성도 확보하면서 최소최대 최적의 손해를 유지하는 것이 가능한가?
• RQ4 리프시츠 입찰 정책에 대비하여 1차 입찰 경매에서 손해의 본질적 한계는 무엇인가?
• RQ5 더 풍부한 오라클 클래스에 대비할 경우, 이는 본질적으로 불가능하다는 강력한 불가능성 결과를 도출할 수 있는가?

주요 결과

• 제안된 알고리즘은 모든 리프시츠 입찰 정책의 클래스에 대해 $×planti{O}(\sqrt{T})$의 손해를 기록하며, 이는 최소최대 최적이다.
• 계층적 전문가 체인 메커니즘은 사전 지식 없이도 높은 성능을 보이는 전문가로부터의 적응적 학습을 통해 손해 성능을 향상시킨다.
• SEW 정책는 통계적으로 최적이지만 실행 불가능한 기준과 동일한 $×planti{O}(\sqrt{T})$의 손해 보장을 유지하면서도 계산적 및 공간적으로 효율적이다.
• 불가능성 결과는 더 강력한 오라클(예: 비리프시츠 정책)에 대비할 경우 본질적으로 불가능하다는 것을 보여주며, 손해 하한이 $×planti{O}(\sqrt{T})$를 뛰어넘는 속도로 증가하기 때문이다.
• 버라이즌 미디어의 세 개의 실세계 1차 입찰 데이터셋에 대한 실험을 통해 제안된 알고리즘이 누적 수익 측면에서 기존 입찰 전략을 뛰어나는 것으로 확인되었다.
• 이론적 분석을 통해 손해 한계가 로그 인자 수준까지 날카로워졌으며, 하한에서 상수 $c = 1/16$가 존재함을 증명함으로써 최소최대 최적성이 확인되었다.