[論文レビュー] Online Learning with Vector Costs and Bandits with Knapsacks

Thomas Keßelheim, Sahil Singla|arXiv (Cornell University)|Oct 14, 2020

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

この論文は、オンライン意思決定における累積的ベクトルコストのℓ_p-ノルムを最小化するためのフレームワーク、Online Learning with Vector Costs ($\textsc{OLVC}_p$) を導入する。多変数問題を勾配に基づく最適化を用いて1次元の代理問題に還元することで、確率的設定では近似的に最適なリグレットを達成し、敵対的設定ではタイトな $O(\min\{p,\log d\})$ の競合比を達成する。応用例として、ナップサック付きバンディット（BwK）が挙げられる。

ABSTRACT

We introduce online learning with vector costs (\OLVCp) where in each time step $t \in \{1,\ldots, T\}$, we need to play an action $i \in \{1,\ldots,n\}$ that incurs an unknown vector cost in $[0,1]^{d}$. The goal of the online algorithm is to minimize the $\ell_p$ norm of the sum of its cost vectors. This captures the classical online learning setting for $d=1$, and is interesting for general $d$ because of applications like online scheduling where we want to balance the load between different machines (dimensions). We study \OLVCp in both stochastic and adversarial arrival settings, and give a general procedure to reduce the problem from $d$ dimensions to a single dimension. This allows us to use classical online learning algorithms in both full and bandit feedback models to obtain (near) optimal results. In particular, we obtain a single algorithm (up to the choice of learning rate) that gives sublinear regret for stochastic arrivals and a tight $O(\min\{p, \log d\})$ competitive ratio for adversarial arrivals. The \OLVCp problem also occurs as a natural subproblem when trying to solve the popular Bandits with Knapsacks (\BwK) problem. This connection allows us to use our \OLVCp techniques to obtain (near) optimal results for \BwK in both stochastic and adversarial settings. In particular, we obtain a tight $O(\log d \cdot \log T)$ competitive ratio algorithm for adversarial \BwK, which improves over the $O(d \cdot \log T)$ competitive ratio algorithm of Immorlica et al. [FOCS'19].

研究の動機と目的

• d次元におけるベクトルコストを伴うオンライン学習を扱い、合計コストベクトルの $\ell_p$-ノルムを最小化することを目的とする。
• 問題を古典的オンライン学習（d=1 の場合）の一般化として形式化し、ロードバランシングと BwK に適用する。
• 古典的オンライン学習アルゴリズムの適用を可能にするために、d次元のベクトルコストを1次元の代理問題に還元する還元技術を開発する。
• 確率的設定ではサブ線形リグレット、敵対的設定ではタイトな競合比を、OLVC_p および BwK の両方で達成する。
• ナップサック付きバンディット（BwK）における競合比を、敵対的設定で $O(d \log T)$ から $O(\log d \cdot \log T)$ に改善するため、OLVC_p の技術を応用する。

提案手法

• コストベクトルの勾配に基づく変換を用いて、d次元の OLVC_p を1次元の代理問題に還元する。
• 合計コストベクトルの $\ell_p$-ノルムを目的関数とし、凸性と部分勾配の性質を保つ代理関数を用いる。
• 代表的なオンライン学習アルゴリズム（例：Follow-the-Regularized-Leader）を1次元の代理問題に適用し、既知のリグレットバウンドを活用する。
• 代理関数の勾配を表す双対変数 $g^{(t)}$ を導入し、効率的な更新を可能にする。
• 双対変数の安定性を制御し、有界なリグレットを保証するため、正則化項 $\Psi^{(t)}_{p,r}$ を用いる。
• リソース消費をベクトルコストとしてモデル化し、代理問題を用いて競合比を導出することで、Bandits with Knapsacks (BwK) に還元を適用する。

実験結果

リサーチクエスチョン

• RQ1 ベクトルコストを伴うオンライン学習を、近似的に最適なリグレットと競合比を保ちつつ1次元の代理問題に還元することは可能か？
• RQ2 敵対的設定における OLVC_p の競合比は何か？また、d や p に依存してどのように変化するか？
• RQ3 提案された OLVC_p フレームワークは、敵対的設定におけるナップサック付きバンディット（BwK）の競合比をどのように改善するか？
• RQ4 OLVC_p において、確率的設定のリグレットと敵対的設定の競合比の間にはどのようなトレードオフがあるか？
• RQ5 最適解が未知である場合に、OLVC_p フレームワークを用いて BwK のタイトな境界を導出できるか？

主な発見

• 1次元の代理問題への還元と古典的オンライン学習アルゴリズムの適用により、確率的設定における OLVC_p でサブ線形リグレットを達成した。
• 敵対的 OLVC_p においては、競合比が $O(\min\{p, \log d\})$ であり、これはタイトであり、先行研究を改善する。
• 敵対的 BwK における競合比は、$O(d \log T)$ から $O(\log d \cdot \log T)$ に改善され、対数要因を除いて既知の最良の境界に一致する。
• 確率的 BwK において、高い確率で報酬が $\textsc{OPT}_{\textsc{BwK}} \cdot \left(1 - O\left(\left(\frac{(p+r)\|\mathbf{1}_d\|_p}{B}\right)^{1/2}\right)\right)$ を達成した。
• 最適値 $\textsc{OPT}_{\textsc{BwK}}$ が未知である場合の分析においても、その仮定を外したことで、手法のロバスト性が示された。
• 勾配の安定性とホルダーの不等式による理論的保証により、有界なリグレットと収束性が保証された。