[論文レビュー] Multi-scale Online Learning and its Applications to Online Auctions

Sébastien Bubeck, Nikhil R. Devanur+2 more|arXiv (Cornell University)|May 26, 2017

Auction Theory and Applications参考文献 5被引用数 5

ひとこと要約

本稿は、全行動の報酬範囲ではなく各行動の個別報酬範囲に比例してレグレットがスケーリングする、マルチスケールオンライン学習を導入する。これは、マルチアームドバンディット問題やエキスパート問題の一般化であり、最適固定価格に比例したレグレットバウンドを達成する。これにより、オンラインオークションや価格設定において近似的に最適な性能が達成され、オフラインの情報理論的下界に一致する良好なサンプル複雑性が得られる。

ABSTRACT

We consider revenue maximization in online auction/pricing problems. A seller sells an identical item in each period to a new buyer, or a new set of buyers. For the online posted pricing problem, we show regret bounds that scale with the best fixed price, rather than the range of the values. We also show regret bounds that are almost scale free, and match the offline sample complexity, when comparing to a benchmark that requires a lower bound on the market share. These results are obtained by generalizing the classical learning from experts and multi-armed bandit problems to their multi-scale versions. In this version, the reward of each action is in a different range, and the regret w.r.t. a given action scales with its own range, rather than the maximum range.

研究の動機と目的

• 最大値範囲に比例してスケーリングする標準的なオンライン学習のレグレットバウンドの非効率性、特に保守的な上界を用いる場合の問題を解決すること。
• 各行動の報酬の個別範囲に比例してスケーリングする、レグレットがスケーリングされるオンライン学習アルゴリズムの開発。
• これらのマルチスケール学習技術を、バンドイットフィードバックと未知の買い手評価価値を伴うオンラインオークションおよび価格設定問題に適用すること。
• オンラインレグレットバウンドとオフラインのサンプル複雑性下界との間の関係を確立すること。
• ColeとRoughgarden (2014) および Huangら (2015a) の情報理論的下界に一致する近似的に最適なレグレットバウンドを示すこと。

提案手法

• 各行動の報酬範囲に適合した重み付き負のエントロピーのミラー写像を用いた、オンラインミラー降下（OSMD）のマルチスケール変種を提案。
• 完全情報とバンドイットフィードバックの両設定に対応するアルゴリズムを設計し、各行動のレグレットがその個別報酬範囲に比例することを保証。
• Kullback-Leibler（KL）ダイバージェンスの議論を用いて、最適価格に関して非線形レグレットを達成する任意のアルゴリズムが、極端なケースで顕著なレグレットを被る必要があることを示す。
• マルチスケール学習フレームワークをオンライン掲示価格および複数買い手オークションに適用し、単一アイテムから複数アイテムへの一般化を達成。
• オンラインオークション問題をマルチスケールオンライン学習問題に還元し、価格範囲hに依存しないよりタイトなレグレットバウンドを可能にする。
• 確率的 gain ベクトルの構築を用いて下界を証明し、対称な gain 分布を持つ2つのインスタンスを用いて、矛盾に基づくレグレット限界を導出。

実験結果

リサーチクエスチョン

• RQ1 オンライン価格設定において、オンライン学習アルゴリズムが最大値範囲ではなく最適固定価格に比例してスケーリングするレグレットを達成できるか？
• RQ2 市場シェアの下限が与えられた場合、スケールフリーなレグレットバウンドがオフラインのサンプル複雑性下界に一致可能か？
• RQ3 報酬範囲が異なる行動を扱えるように、エキスパート問題やマルチアームドバンディット問題といった古典的なオンライン学習問題をどのように一般化できるか？
• RQ4 収益最大化問題において、オンラインレグレットバウンドとオフラインサンプル複雑性の関係は何か？
• RQ5 マルチスケール学習技術を、バンドイットフィードバックと複数の買い手を伴うオンラインオークションに適用可能か？

主な発見

• 本稿は、最大値範囲hではなく最適固定価格に比例してスケーリングするレグレットバウンドを確立し、hに線形にスケーリングする標準的なバウンドに比べて顕著な改善を達成した。
• オンライン掲示価格問題において、レグレットは O(εT) + O(ε⁻¹h) で有界であり、加法的項は範囲hではなく最適価格に依存する。
• 提案されたマルチスケールオンライン学習フレームワークは、各行動の個別報酬範囲に比例してスケーリングするレグレットを達成し、グローバル最大範囲に依存しない。
• レグレットバウンドは近似的に最適であり、ColeとRoughgarden (2014) および Huangら (2015a) のオフラインサンプル複雑性下界に一致する。
• 任意のアルゴリズムが o(εT) + o(ε⁻¹h) のレグレットを達成する場合、情報理論的限界に反するため、近似的に最適性が確認された。
• このフレームワークはバンドイットフィードバックおよび複数買い手オークション設定へも拡張可能であり、近似的に最適なレグレット性能を維持する。