[論文レビュー] An adaptive stochastic optimization algorithm for resource allocation

Xavier Fontaine, Shie Mannor+1 more|arXiv (Cornell University)|Feb 12, 2019

Advanced Bandit Algorithms Research参考文献 9被引用数 4

ひとこと要約

本稿では、帰納的利得関数の下で逐次的リソース割り当てのための適応的確率的最適化アルゴリズムを提案する。ノイズのある勾配フィードバックと Łojasiewicz 不等式を活用することで、問題に適応する収束速度を達成する。アルゴリズムは報酬関数の正則性（Łojasiewicz 指数で測定）に応じて動的に調整され、強く凹型（高速）および線形（古典的バンディット）の場合に最適なレジットレートを達成する。正則性パラメータの事前知識がなくても、中間的正則性領域での性能が向上する。

ABSTRACT

We consider the classical problem of sequential resource allocation where a decision maker must repeatedly divide a budget between several resources, each with diminishing returns. This can be recast as a specific stochastic optimization problem where the objective is to maximize the cumulative reward, or equivalently to minimize the regret. We construct an algorithm that is {\em adaptive} to the complexity of the problem, expressed in term of the regularity of the returns of the resources, measured by the exponent in the Łojasiewicz inequality (or by their universal concavity parameter). Our parameter-independent algorithm recovers the optimal rates for strongly-concave functions and the classical fast rates of multi-armed bandit (for linear reward functions). Moreover, the algorithm improves existing results on stochastic optimization in this regret minimization setting for intermediate cases.

研究の動機と目的

• ノイズのある勾配フィードバック下で、未知の凹型報酬関数を有する逐次的リソース割り当ての課題に対処すること。
• 報酬関数の内在的正則性（Łojasiewicz 指数またはユニバーサル凹型パラメータで測定）に適応するアルゴリズムを設計すること。
• 強凸性から線形関数まで、あらゆる正則性レベルにおいて最適なレジットレートを達成すること。問題の複雑さに関する事前知識が不要である。
• 勾配フィードバックと適応的サンプリング戦略を活用することで、従来の確率的最適化手法に比べ、レジット最小化の性能を向上させること。

提案手法

• アルゴリズムは、バイナリサーチ（二分探索）フレームワークを用い、予算空間を再帰的に分割し、ノイズのある勾配観測に基づいて割り当てを精緻化する。
• 各レベルにおける二分木構造の下で最適化問題を部分問題に再帰的に分解し、勾配の大きさの推定値に基づく適応的サンプリングを実施する。
• 各候補割り当てのサンプル数は、推定された勾配ノルムの逆数に基づき決定され、勾配ノルムが小さい領域での高い探索を保証する。
• 信頼区間と対数スケーリングを用いて、再帰的レベル間での誤差伝搬を制御し、高確率保証を達成する。
• 二分木内の深さと推定された勾配強度に応じて、各点のサンプル数を動的に調整することで、適応的収束を実現する。
• この手法はパラメータフリーであり、滑らかさや強い凸性パラメータの知識を一切不要とし、Łojasiewicz 不等式のみを用いてサンプリングと収束をガイドする。

実験結果

リサーチクエスチョン

• RQ1 正則性パラメータの事前知識がなくても、Łojasiewicz 指数に依存するすべての正則性レベルで、最適なレジットレートを達成できる適応的確率的最適化アルゴリズムは存在するか？
• RQ2 ノイズのある勾配フィードバックは、凹型報酬関数に対する確率的最適化の収束をどのように加速できるか？
• RQ3 強い凸関数のための高速レートと線形関数のための古典的バンディットレートを両方回復できる、パラメータに依存しないアルゴリズムは存在するか？
• RQ4 Łojasiewicz 不等式を満たす関数（指数 $\beta \in [1,2]$）に対して、レジットバウンドが $T^{-\beta/2}$ のスケーリングを達成できるか？
• RQ5 中間的正則性領域における理論的上界と実験的レジットの差はどの程度か？

主な発見

• アルゴリズムは $\beta \in [1,2]$ の場合に、$T^{-\beta/2}$ のスケーリングを示すレジットバウンドを達成し、対数要因を除いて理論的下界と一致する。
• $\beta \geq 2$ の場合、レジットは $\log(T)/T$ のスケーリングを示し、古典的 $\widetilde{\mathcal{O}}(\sqrt{T})$ バンディットレートよりも高速である。
• 強く凹型関数（$\beta=2$ に対応）に対して、強い凸性パラメータの事前知識がなくても、最適な $\widetilde{\mathcal{O}}(T^{-1})$ レートを回復する。
• 実験的結果により、$\beta \leq 2$ の場合、レジットが $T^{-\beta/2}$ と $(T/\log^2 T)^{-\beta/2}$ の間できっちり挟まれていることが確認され、理論的スケーリングの妥当性が裏付けられる。
• $\log$-$\log$ スケールでレジット曲線の勾配が $-\beta/2$ に一致しており、$\beta$ の異なる値において収束速度の正しさが確認された。
• 中間的正則性領域において、従来の非適応的または勾配に基づかない手法に比べ、アルゴリズムはより優れたレジット性能を示した。