[論文レビュー] Optimal Resource Allocation with Semi-Bandit Feedback

Tor Lattimore, Koby Crammer+1 more|arXiv (Cornell University)|Jun 15, 2014

Advanced Bandit Algorithms Research参考文献 20被引用数 12

ひとこと要約

本稿は、半バンドイットフィードバックを伴う新しい逐次的リソース割り当て問題を提示する。学習者は時間枠内にK個のジョブに限られたリソースを割り当て、完了したジョブ数を最大化することを目的とする。提案手法は、多項対数的レグレットを達成する楽観的アルゴリズムであり、標準的なバンドイット手法と比較して、リソース豊富な状況下での学習速度が著しく向上する。また、全知の最適方策に対する性能損失について、タイトな理論的境界を確立する。

ABSTRACT

We study a sequential resource allocation problem involving a fixed number of recurring jobs. At each time-step the manager should distribute available resources among the jobs in order to maximise the expected number of completed jobs. Allocating more resources to a given job increases the probability that it completes, but with a cut-off. Specifically, we assume a linear model where the probability increases linearly until it equals one, after which allocating additional resources is wasteful. We assume the difficulty of each job is unknown and present the first algorithm for this problem and prove upper and lower bounds on its regret. Despite its apparent simplicity, the problem has a rich structure: we show that an appropriate optimistic algorithm can improve its learning speed dramatically beyond the results one normally expects for similar problems as the problem becomes resource-laden.

研究の動機と目的

• ジョブの完了確率がリソース割り当てに線形に依存し、カットオフまで到達する線形成功確率モデルを仮定した逐次的リソース割り当て問題に対処すること。
• 各ジョブの未知の難易度をパラメータ νk でモデル化し、フィードバックを通じてこれらのパラメータを学習するアルゴリズムを設計すること。
• リソースが乏しい状況と豊富な状況の両方で最適なレグレット性能を達成する新しいアルゴリズムを開発すること。
• レグレットの理論的上界と下界を確立し、高リソース環境下での学習速度の向上を示すこと。

提案手法

• 学習者は各時刻 t において各ジョブ k にリソース M_{k,t} を割り当て、∑M_{k,t} ≤ 1 の制約下に従う。
• ジョブ完了は成功確率 β(M_{k,t}/νk) = min{1, M_{k,t}/νk} のベルヌーイ試行としてモデル化される。
• 楽観的アルゴリズムは νk の信頼区間を維持し、推定難易度が最も低いものを選択して割り当てを決定する。
• より情報の多いサンプルを優先するために重み付き推定器を用いることで、推定効率を向上させる。
• 理論的分析では、ピーリング論法とマーティングール版のベルンシュタインの不等式を用いて、経験的推定値の逸脱を制限する。
• レグレット境界は、問題のダイナミクスに依存する関数として導出され、時間枠 n に対して多項対数的依存性を示す。

実験結果

リサーチクエスチョン

• RQ1 リソースが各時刻で補充され、フィードバックが半バンドイットである状況下で、未知の難易度を持つジョブに最適にリソースを割り当てる方法は何か？
• RQ2 このリソース割り当て問題における根本的な学習速度の限界は何か？標準的なバンドイットやフル情報設定とはどのように異なるか？
• RQ3 楽観的アルゴリズムは、この問題において多項対数的レグレットを達成できるか？その場合、どのような条件下で達成できるか？
• RQ4 特に線形成功確率モデルという問題の構造が、達成可能なレグレットと学習ダイナミクスにどのように影響を与えるか？
• RQ5 情報量の異なるサンプルがある状況下で、重み付き推定器は学習効率をどのように向上させるか？

主な発見

• 提案された楽観的アルゴリズムは、すべての νk を事前に知っている全知の最適方策に対する多項対数的レグレットを達成する。
• レグレット境界は問題の状態に強く依存しており、リソース豊富な状況ではフル情報問題に似ており、リソースが乏しい状況ではバンドイット問題に似ている。
• リソース豊富な状況下では、アルゴリズムの学習速度が著しく向上し、標準的なバンドイット風の学習レートを上回る。
• 重み付き推定器の使用により、特に一部の割り当てがより情報量が多い場合に推定精度が顕著に向上する。
• 理論的分析により、精密化されたマーティングール濃度不等式を用いて、高確率でレグレットが有界であることが証明された。
• 下界が上界と対数要因を除いて一致しており、アルゴリズムの最適性が確認された。