[論文レビュー] Dual Mirror Descent for Online Allocation Problems

Haihao Lu, Santiago Balseiro+1 more|arXiv (Cornell University)|Feb 24, 2020

Advanced Bandit Algorithms Research参考文献 2被引用数 21

ひとこと要約

本稿では、凹型収益関数と未知の確率的リクエスト分布を伴う問題において、ラグランジュ双対空間におけるデュアルミラー降下を用いた新しいオンライン割り当てアルゴリズムを提案する。この手法により、期待されるレジストが非線形に減少する性能が達成される。適応的デュアル乗数を用いたオンラインミラー降下により、既知のアルゴリズム（勾配降下法や指数重み法）が回復され、割合的なホライズンとリソーススケーリングにおいて最適なレジストスケーリングが達成される。

ABSTRACT

We consider online allocation problems with concave revenue functions and resource constraints, which are central problems in revenue management and online advertising. In these settings, requests arrive sequentially during a finite horizon and, for each request, a decision maker needs to choose an action that consumes a certain amount of resources and generates revenue. The revenue function and resource consumption of each request are drawn independently and at random from a probability distribution that is unknown to the decision maker. The objective is to maximize cumulative revenues subject to a constraint on the total consumption of resources. We design a general class of algorithms that achieve sub-linear expected regret compared to the hindsight optimal allocation. Our algorithms operate in the Lagrangian dual space: they maintain a dual multiplier for each resource that is updated using online mirror descent. By choosing the reference function accordingly, we recover dual sub-gradient descent and dual exponential weights algorithm. The resulting algorithms are simple, efficient, and shown to attain the optimal order of regret when the length of the horizon and the initial number of resources are scaled proportionally. We discuss applications to online bidding in repeated auctions with budget constraints and online proportional matching with high entropy.

研究の動機と目的

• 未知の確率的リクエスト分布と凹型収益関数を伴うオンライン割り当て問題に対処すること。
• 後知恵の最適割り当てに対して、非線形期待レジストを達成する一般化されたアルゴリズムフレームワークを設計すること。
• デュアル勾配降下法や指数重み法といった既存手法を、共通のデュアルミラー降下定式化によって統一・一般化すること。
• オンライン広告や予算制約付き繰り返しオークションなどの応用分野における、効率的かつスケーラブルなソリューションを可能にすること。

提案手法

• アルゴリズムはラグランジュ双対空間で動作し、各リソースに対してリソース消費制約を追跡するデュアル乗数を維持する。
• デュアル乗数はオンラインミラー降下を用いて更新され、基準関数（例：対数関数または2次関数）を活用することで、双対空間におけるレジストを最小化する。
• リクエストは未知の分布から独立同分布に従って抽出され、収益関数とリソース消費関数は独立に生成される。
• 適切に基準関数を選択することで、フレームワークはデュアル勾配降下法とデュアル指数重み法の両方を回復する。
• 単純で反復的な更新ルールのおかげで、計算効率とスケーラビリティが保証される。
• ホライズン長と初期リソース数が比例的にスケーリングされる場合、最適なレジストのオーダーが達成されることを示している。

実験結果

リサーチクエスチョン

• RQ1 凹型収益関数と未知の分布を伴うオンライン割り当て問題に対して、非線形レジストを達成する統一的アルゴリズムフレームワークを開発可能か？
• RQ2 ラグランジュ双対空間におけるデュアルミラー降下は、従来の手法（勾配降下法や指数重み法）と比較して、レジストとパフォーマンスの面でどのように異なるか？
• RQ3 ミラー降下における基準関数のどの選択が、オンライン割り当て問題における最適なレジストスケーリングをもたらすか？
• RQ4 このフレームワークは、予算制約付き繰り返しオークションにおけるオンライン入札といった実世界の問題に効果的に適用可能か？
• RQ5 ホライズン長とリソース容量が比例的にスケーリングされる場合、アルゴリズムは最適なレジストオーダーを維持するか？

主な発見

• 提案されたデュアルミラー降下フレームワークは、後知恵の最適割り当てに対して非線形期待レジストを達成する。これは、この設定において到達可能な最良のレジストオーダーである。
• 適切な基準関数を選択することで、この手法はデュアル勾配降下法とデュアル指数重み法の両方を回復し、これらを一つのフレームワークで統合する。
• ホライズン長と初期リソース数が比例的にスケーリングされる場合、最適なレジストのオーダーが達成される。
• 単純で反復的な更新ルールのおかげで、計算効率が高く、オンライン広告や繰り返しオークションなどの大規模なオンライン割り当て問題に適している。
• 不確実なリクエスト分布を扱う原理的で明確な方法を提供し、強力な理論的パフォーマンス保証を維持する。
• 高エントロピーのオンライン比例マッチングや予算制約付きのオンライン入札といった応用は、アルゴリズム構造によって自然にサポートされる。