[論文レビュー] Fast Learning for Renewal Optimization in Online Task Scheduling

Michael J. Neely|arXiv (Cornell University)|Jul 18, 2020

Advanced Bandit Algorithms Research参考文献 28被引用数 8

ひとこと要約

本稿では、タスクタイプの分布が未知である再生報酬システムに対する、新しいオンライン学習アルゴリズムを提案する。この手法はロビンズ＝モンロー形式の補助変数更新を用い、一般の場合には最適性ギャップが $O(1/\tilde{k})$ で減少し、強い凸性下では $O(\log(k)/k)$ にまで速やかに減少する。これに一致する下界が示され、収束速度の最適性が裏付けられる。

ABSTRACT

This paper considers online optimization of a renewal-reward system. A controller performs a sequence of tasks back-to-back. Each task has a random vector of parameters, called the task type vector, that affects the task processing options and also affects the resulting reward and time duration of the task. The probability distribution for the task type vector is unknown and the controller must learn to make efficient decisions so that time average reward converges to optimality. Prior work on such renewal optimization problems leaves open the question of optimal convergence time. This paper develops an algorithm with an optimality gap that decays like $O(1/\sqrt{k})$, where $k$ is the number of tasks processed. The same algorithm is shown to have faster $O(\log(k)/k)$ performance when the system satisfies a strong concavity property. The proposed algorithm uses an auxiliary variable that is updated according to a classic Robbins-Monro iteration. It makes online scheduling decisions at the start of each renewal frame based on this variable and on the observed task type. A matching converse is obtained for the strongly concave case by constructing an example system for which all algorithms have performance at best $Ω(\log(k)/k)$. A matching $Ω(1/\sqrt{k})$ converse is also shown for the general case without strong concavity.

研究の動機と目的

• タスクタイプ分布の事前知識なしに、オンライン再生最適化における最適収束時間の問題を解決すること。
• 観測されたタスクタイプから効率的に学習し、時間平均報酬を最適なオフライン基準に近づけるアルゴリズムを設計すること。
• 収束速度に対するタイトな上界と下界を確立し、一般および強い凸性下の両設定で最適性を証明すること。
• 分布に関する事前知識がなくとも、現在の観測値と学習済み補助変数のみを用いてフレーム単位で意思決定を適応的に更新できる実用的なオンラインアルゴリズムを開発すること。

提案手法

• アルゴリズムは、最適双対変数を推定するためにロビンズ＝モンロー形式の確率的近似反復により補助変数を更新する。
• 各フレームの開始時に、コントローラーは観測されたタスクタイプと現在の補助変数に基づいて、タスク処理モードを選択する。
• 収束を保証するため、漸減する分散を持つステップサイズ列を補助変数の更新に用いる。
• 収束性と性能バウンドの導出に、条件付き期待値とマルティンゲールの議論を活用する。
• 推定された双対変数がほとんど確実に最適値に収束することを、背理法を用いた条件付き期待値の議論により示す。
• 一般および強い凸性下の両ケースにおいて、一致する下界を構築することで、アルゴリズムの最適性が示される。

実験結果

リサーチクエスチョン

• RQ1 タスクタイプ分布が未知である再生システムにおいて、オンラインアルゴリズムが最適な時間平均報酬に収束する最速のレートは何か？
• RQ2 強い凸性などの追加の構造的仮定のもとで、提案アルゴリズムは $O(1/\sqrt{k})$ よりも速やかに収束できるか？
• RQ3 強い凸性下で $O(\log k / k)$ の収束レートはタイトか、すなわち、より良いレートを達成できるアルゴリズムは存在しないか？
• RQ4 タスクタイプ分布に関する事前知識なしに、オンライン再生最適化の収束速度の根本的限界は何か？
• RQ5 1つのアルゴリズムが、分布に関する知識がなくとも、最適な収束速度と適応性の両方を達成できるか？

主な発見

• 提案アルゴリズムは、一般の場合に最適性ギャップが $O(1/\sqrt{k})$ にまで減少する。ここで $k$ は処理されたタスク数を表す。
• 強い凸性下では、最適性ギャップは $O(\log k / k)$ にまで減少し、一般の場合より速い。
• 一致する逆問題が証明され、強い凸性下では $\Omega(\log k / k)$ よりも良い性能は達成できない。
• 別の逆問題により、強い凸性がない一般ケースでは $\Omega(1/\sqrt{k})$ が根本的限界であることが示された。
• 上界と下界が定数係数の範囲で一致するため、両設定においてアルゴリズムは最適である。
• 証明は、下界を確立する反例系を構築することに依拠しており、アルゴリズムの性能が漸近的に改善できないことを示している。