[논문 리뷰] Oracle-Efficient Learning and Auction Design

Miroslav Dudı́k, Nika Haghtalab외 4명|arXiv (Cornell University)|2016. 11. 05.

Auction Theory and Applications인용 수 3

한 줄 요약

이 논문은 일반화된 따르기-왜곡-리더(Generalized Follow-the-Perturbed-Leader) 알고리즘을 소개하며, 오프라인 최적화 오라클을 활용하여 악성 환경에서 오라클 효율적인 온라인 학습을 가능하게 하여 특정 조건 하에서 점점 줄어드는 손실을 달성한다. 이 프레임워크를 활용해 VCG에 보유가격을 적용한 경매, 선호 없음 가격 설정, s-레벨 경매에 대한 오라클 효율적인 경매 메커니즘을 설계하였으며, i.i.d. 평가 과정을 초월해 마이어슨 경매 근사화를 확장한다.

ABSTRACT

We consider the design of computationally efficient online learning algorithms in an adversarial setting in which the learner has access to an offline optimization oracle. We present an algorithm called Generalized Follow-the-Perturbed-Leader and provide conditions under which it is oracle-efficient while achieving vanishing regret. Our results make significant progress on an open problem raised by Hazan and Koren, who showed that oracle-efficient algorithms do not exist in general and asked whether one can identify properties under which oracle-efficient online learning may be possible. Our auction-design framework considers an auctioneer learning an optimal auction for a sequence of adversarially selected valuations with the goal of achieving revenue that is almost as good as the optimal auction in hindsight, among a class of auctions. We give oracle-efficient learning results for: (1) VCG auctions with bidder-specific reserves in single-parameter settings, (2) envy-free item pricing in multi-item auctions, and (3) s-level auctions of Morgenstern and Roughgarden for single-item settings. The last result leads to an approximation of the overall optimal Myerson auction when bidders’ valuations are drawn according to a fast-mixing Markov process, extending prior work that only gave such guarantees for the i.i.d. setting. Finally, we derive various extensions, including: (1) oracle-efficient algorithms for the contextual learning setting in which the learner has access to side information (such as bidder demographics), (2) learning with approximate oracles such as those based on Maximal-in-Range algorithms, and (3) no-regret bidding in simultaneous auctions, resolving an open problem of Daskalakis and Syrgkanis.

연구 동기 및 목표

• 일부 구조적 조건 하에서 오라클 효율적인 온라인 학습이 가능한지 여부라는 열린 문제를 해결하기 위해.
• 오프라인 오라클에 접근 가능한 환경에서 계산적으로 효율적인 경매 메커니즘을 설계하여 악성 환경에서 최적 수익을 학습하기 위해.
• 일반화된 마이어슨 경매 근사화 결과를 i.i.d. 설정에서 빠르게 혼합되는 마르코프 과정으로 확장하기 위해.
• 컨텍스트 기반 학습, 근사 오라클, 동시 경매에서의 점점 줄어드는 입찰을 위한 오라클 효율적인 알고리즘 개발을 위해.

제안 방법

• 임의의 오프라인 오라클과 함께 작동하는 일반화된 따르기-왜곡-리더 알고리즘을 도입하며, FPL을 일반화한다.
• 알고리즘이 점점 줄어드는 손실을 달성하면서도 오라클 효율성을 유지하기 위한 오라클 및 손실 구조에 대한 충분한 조건을 설정한다.
• 세 가지 경매 설정에 이 프레임워크를 적용한다: 입찰자별 보유가격이 있는 VCG, 선호 없음 항목 가격 설정, s-레벨 경매.
• 왜곡 기반 탐색을 통해 탐색과 이용의 균형을 이루면서도 오라클 효율성을 유지한다.
• 입찰자 인구통계학적 정보와 같은 보조 정보를 통합하여 컨텍스트 기반 학습으로 접근을 확장한다.
• 다중 입찰자, 다중 항목 환경에 오라클 효율적 프레임워크를 적응시켜 동시 경매에서의 점점 줄어드는 입찰을 해결한다.

실험 결과

연구 질문

• RQ1 하잔과 코렌의 부정적 결과에도 불구하고, 어떤 조건에서 악성 환경에서 오라클 효율적인 온라인 학습을 달성할 수 있는가?
• RQ2 평가가 빠르게 혼합되는 마르코프 과정을 따를 경우, 마이어슨 경매를 근사적으로 학습할 수 있는가?
• RQ3 보조 정보를 포함한 컨텍스트 기반 학습으로 오라클 효율적인 학습을 어떻게 확장할 수 있는가?
• RQ4 예를 들어 최대 범위 내에서의 근사 오라클과 같은 근사 오라클을 오라클 효율적인 온라인 학습에서 효과적으로 사용할 수 있는가?
• RQ5 오라클 효율적 프레임워크를 사용하여 동시 경매에서 점점 줄어드는 입찰을 달성할 수 있는가?

주요 결과

• 일정 조건 하에서 일반화된 따르기-왜곡-리더 알고리즘이 점점 줄어드는 손실을 달성하면서도 오라클 효율적이며, 핵심 열린 문제를 해결한다.
• 단일 파rameter 환경에서 입찰자별 보유가격이 있는 VCG 경매에 대해 오라클 효율적인 학습이 달성된다.
• 다중 항목 경매에서 선호 없음 항목 가격 설정이 제안된 프레임워크를 통해 효율적으로 학습된다.
• 평가가 빠르게 혼합되는 마르코프 과정을 따를 경우 s-레벨 경매가 최적의 마이어슨 경매에 대한 근사로 나타난다.
• 보조 정보를 포함한 컨텍스트 기반 학습을 지원하여 이러한 환경에서 오라클 효율적인 학습이 가능하다.
• 다스칼라키스와 시르가니스가 제기한 문제를 해결하기 위해 제안된 오라클 효율적 접근을 통해 동시 경매에서의 점점 줄어드는 입찰이 해결된다.