[論文レビュー] Online Allocation and Pricing: Constant Regret via Bellman Inequalities

Alberto Vera, Siddhartha Banerjee+1 more|arXiv (Cornell University)|Jun 14, 2019

Advanced Bandit Algorithms Research参考文献 31被引用数 11

ひとこと要約

本論文は、ベルマン不等式を用いて、時間枠や予算に依存しない定常なレジット（regret）を達成する、オンラインリソース割り当てと価格設定のための新規フレームワークを提案する。計算の実行可能性と予測の不確実性のバランスを取ることで、オンラインナップサック、プローブ、動的価格設定、ナップサック付きコンテキストバンドイット問題において、シンプルで効率的かつ理論的保証が強いポリシーを実現する。この手法は、各期間ごとに線形計画法を再最適化し、グリーディーな行動選択ルールを適用することで、実行可能で効率的なポリシーを生成する。

ABSTRACT

We develop a framework for designing simple and efficient policies for a family of online allocation and pricing problems, that includes online packing, budget-constrained probing, dynamic pricing, and online contextual bandits with knapsacks. In each case, we evaluate the performance of our policies in terms of their regret (i.e., additive gap) relative to an offline controller that is endowed with more information than the online controller. Our framework is based on Bellman Inequalities, which decompose the loss of an algorithm into two distinct sources of error: (1) arising from computational tractability issues, and (2) arising from estimation/prediction of random trajectories. Balancing these errors guides the choice of benchmarks, and leads to policies that are both tractable and have strong performance guarantees. In particular, in all our examples, we demonstrate constant-regret policies that only require re-solving an LP in each period, followed by a simple greedy action-selection rule; thus, our policies are practical as well as provably near optimal.

研究の動機と目的

• 不確実性下でのリソース割り当てに向けた、証明可能な性能保証を持つシンプルで効率的なオンラインポリシーの設計。
• 従来の動的計画法が次元の呪いにより失敗する高次元オンライン意思決定の課題への対処。
• オンラインパッキング、予算制約付きプローブ、動的価格設定、ナップサック付きコンテキストバンドイット問題を含む多様な問題に適用可能な統合的フレームワークの開発。
• 時間枠や初期予算に依存しない、オフラインベンチマークに対する定常レジットの達成。
• レジットを2つの解釈可能な成分に分解すること：ベルマン損失（計算の非実行可能性）と情報損失（予測の不確実性）、これによりポリシー設計の支援が可能になる。

提案手法

• フレームワークは、実行可能性と情報の可用性のバランスを取るための妥当なベンチマークを特徴付けるベルマン不等式を用いる。
• 2項レジット分解を導入：完全な動的計画法ではなく、実行可能なベンチマークを使用することに起因するベルマン損失、および将来の経路の不確実性に起因する情報損失。
• 部分的な将来情報を取り入れた適応的かつ実行可能なオフラインベンチマークを構築し、オンラインポリシー設計を支援する。
• 各期間において、現在の状態とベンチマークに基づき、線形計画法を再最適化した後、グリーディーな行動選択ルールを適用する。
• フレームワークは、オンライン確率的ナップサック、オンラインプローブ、動的価格設定、ナップサック付きコンテキストバンドイットの4つの問題クラスに適用される。
• コンテキストバンドイット問題では、組み合わせ最適化とパrameter推定を分離し、バンドイットモジュールを用いて順位を学習することで、情報損失を低減する。

実験結果

リサーチクエスチョン

• RQ1 多様なオンライン割り当て・価格設定問題に定常レジットポリシーを提供できる一貫したフレームワークを開発可能か？
• RQ2 ポリシー設計を支援するため、レジットを計算の実行可能性と予測不確実性の成分に分解できるか？
• RQ3 時間枠に依存せず、計算的に実行可能なまま定常レジットを達成するためのオフラインベンチマークはどのようなものか？
• RQ4 完全な動的計画法を解かずに、再最適化に基づくシンプルなポリシーが近似的に最適な性能を達成可能か？
• RQ5 オンライン意思決定において学習または推定されたパrameterを使用する場合、情報損失をどのように制限できるか？

主な発見

• フレームワークは、オンラインナップサック、プローブ、動的価格設定、ナップサック付きコンテキストバンドイット問題において、時間枠Tや初期予算Bに依存しない定常レジットを達成する。
• すべてのポリシーは、各期間ごとに線形計画法を再最適化し、その後にグリーディー行動選択ルールを適用するだけで実現され、実用性と効率性が保証される。
• ベルマン損失と情報損失にレジットを分解することで、オンライン意思決定における性能のトレードオフに関する構造的洞察が得られる。
• ナップサック付きコンテキストバンドイット問題において、全アルゴリズムの期待レジットは、フルフィードバックポリシーのレジットに加え、探索と推定誤差に関連する項が加わるが、ナイーブなバンドイットモジュールを用いることでO(log T)のレジットが達成可能である。
• フレームワークは、検討された問題を越えて、類似構造を持つ他のオンラインリソース割り当て問題に一般化可能である。
• 線形的に表現可能なベンチマークを有する問題に対して、ベルマン不等式を検証する十分条件が提供され、適用可能性と実用性が向上する。