[論文レビュー] Oracle-Efficient Learning and Auction Design

Miroslav Dudı́k, Nika Haghtalab+4 more|arXiv (Cornell University)|Nov 5, 2016

Auction Theory and Applications被引用数 3

ひとこと要約

本稿では、一般化されたフォローザ・ペチューブド・リーダー（G-FPL）アルゴリズムを導入し、オフライン最適化オラクルを活用することで、特定の条件下で正則なリグレットを達成する、敵対的設定下でのオラクル効率的オンライン学習を可能にする。このフレームワークを用いて、リザーブ付きVCGオークション、エンviousフリー価格設定、sレベルオークションのためのオラクル効率的オークションメカニズムを設計し、i.i.d.でない評価プロセスへのマイアソンオークション近似の拡張を実現する。

ABSTRACT

We consider the design of computationally efficient online learning algorithms in an adversarial setting in which the learner has access to an offline optimization oracle. We present an algorithm called Generalized Follow-the-Perturbed-Leader and provide conditions under which it is oracle-efficient while achieving vanishing regret. Our results make significant progress on an open problem raised by Hazan and Koren, who showed that oracle-efficient algorithms do not exist in general and asked whether one can identify properties under which oracle-efficient online learning may be possible. Our auction-design framework considers an auctioneer learning an optimal auction for a sequence of adversarially selected valuations with the goal of achieving revenue that is almost as good as the optimal auction in hindsight, among a class of auctions. We give oracle-efficient learning results for: (1) VCG auctions with bidder-specific reserves in single-parameter settings, (2) envy-free item pricing in multi-item auctions, and (3) s-level auctions of Morgenstern and Roughgarden for single-item settings. The last result leads to an approximation of the overall optimal Myerson auction when bidders’ valuations are drawn according to a fast-mixing Markov process, extending prior work that only gave such guarantees for the i.i.d. setting. Finally, we derive various extensions, including: (1) oracle-efficient algorithms for the contextual learning setting in which the learner has access to side information (such as bidder demographics), (2) learning with approximate oracles such as those based on Maximal-in-Range algorithms, and (3) no-regret bidding in simultaneous auctions, resolving an open problem of Daskalakis and Syrgkanis.

研究の動機と目的

• 特定の構造的条件下で、オラクル効率的オンライン学習が可能かどうかという未解決問題を解消すること。
• オフラインオラクルへのアクセスを有する敵対的設定下で、計算的に効率的なオークションメカニズムを設計し、最適収益を学習すること。
• 単一アイテムオークションにおいて、i.i.d.から高速混合マルコフ過程へのマイアソンオークション近似の結果を拡張すること。
• 文脈学習、近似オラクル、および同時オークションにおけるノーリグレット入札のためのオラクル効率的アルゴリズムを開発すること。

提案手法

• 任意のオフラインオラクルと連携できる一般化されたフォローザ・ペチューブド・リーダー（G-FPL）アルゴリズムを導入する。
• アルゴリズムが正則なリグレットを達成しつつオラクル効率的であるための、オラクルおよび損失構造に関する十分条件を確立する。
• 三つのオークション設定にこのフレームワークを適用する：入札者固有のリザーブ付きVCGオークション、エンviousフリー商品価格設定、sレベルオークション。
• 摂動に基づく探索を用いて、探索と活用のバランスを保ちつつ、オラクル効率性を維持する。
• 入札者の属性などの付加情報を取り入れることで、文脈学習への拡張を実現する。
• 複数入札者・複数アイテム環境に適応させることで、同時オークションにおけるノーリグレット入札を解決する。

実験結果

リサーチクエスチョン

• RQ1 ハザンとコレンの否定的結果にもかかわらず、どのような条件下で敵対的設定下でオラクル効率的オンライン学習が達成可能か。
• RQ2 評価が高速混合マルコフ過程に従うような非i.i.d.設定でも、マイアソンオークションを近似的に学習可能か。
• RQ3 付加情報（例：入札者のデモグラフィック情報）を用いた文脈学習に、オラクル効率的学習をどのように拡張できるか。
• RQ4 最大範囲内（Maximal-in-Range）のような近似オラクルを、オラクル効率的オンライン学習で効果的に使用可能か。
• RQ5 オラクル効率的フレームワークを用いて、同時オークションにおけるノーリグレット入札が達成可能か。

主な発見

• 指定された条件下で、一般化されたフォローザ・ペチューブド・リーダー（G-FPL）アルゴリズムは、正則なリグレットを達成しつつオラクル効率的であり、重要な未解決問題を解決する。
• 単パrameter設定下で、入札者固有のリザーブ付きVCGオークションにおいて、オラクル効率的学習が達成された。
• 複数アイテムオークションにおけるエンviousフリー商品価格設定が、提案されたフレームワークを用いて効率的に学習された。
• 評価が高速混合マルコフ過程に従う場合、sレベルオークションが最適マイアソンオークションの近似を提供することが示された。
• 付加情報を取り入れた文脈学習をサポートするため、このフレームワークは、このような状況下でのオラクル効率的学習を可能にする。
• 提案されたオラクル効率的アプローチにより、ダスカラキスとセルガンキスによる未解決問題が解決され、同時オークションにおけるノーリグレット入札が達成された。