[論文レビュー] Online Optimization with Predictions and Switching Costs: Fast Algorithms and the Fundamental Limit

Yingying Li, Guannan Qu+1 more|arXiv (Cornell University)|Jan 23, 2018

Advanced Bandit Algorithms Research参考文献 52被引用数 29

ひとこと要約

本稿では、有限の予測とスイッチングコストを伴う凸最適化のための高速な勾配ベースのオンラインアルゴリズムとして、再収束ホライズン勾配降下法（RHGD）と再収束ホライズン加速勾配法（RHAG）を提案する。これらのアルゴリズムは、予測ウィンドウ長に伴い指数関数的に減少するレグレットバウンドを達成し、RHAGのレグレットは、最悪ケースにおいて根本的な下界にほぼ一致する。

ABSTRACT

This paper studies an online optimization problem with a finite prediction window of cost functions and additional switching costs on decisions. We propose two gradient-based online algorithms: Receding Horizon Gradient Descent (RHGD), and Receding Horizon Accelerated Gradient (RHAG). Both algorithms only require a finite number of projected gradient evaluations at each stage. We provide upper bounds on the dynamic regrets of the proposed algorithms and show that the regret upper bounds decay exponentially with the length of the prediction window. Moreover, we study the fundamental lower bound on the dynamic regret for a broad class of deterministic online algorithms. The lower bound is close to RHAG's regret upper bound, indicating that our gradient-based RHAG is a near-optimal online algorithm. Finally, we conduct numerical experiments to complement our theoretical analysis.

研究の動機と目的

• スマートグリッドやデータセンターのスケジューリングなど、多くの応用で見られる有限時間予測とスイッチングコストを伴うオンライン凸最適化の課題に対処すること。
• 各ステップで完全なマルチステージ最適化を解かずに、予測を効果的に活用できる計算効率の良いオンラインアルゴリズムの設計。
• 予測ウィンドウ長が長くなるに従い改善する理論的性能保証（特に、レグレットバウンド）の確立。
• 決定的オンラインアルゴリズムの動的レグレットに対する根本的な下界を導出することで、最適性の評価。
• RHAGがこの下界に非常に近いレグレットを達成することを示し、計算コストの高い手法に対してもほぼ最適であることを示す。

提案手法

• RHGDとRHAGを提案。これらは、古典的なOCO手法（例：OGD）を初期化オラクルとして用いる勾配ベースのオンラインアルゴリズムである。
• 各ステージで、次のW個のコスト関数の予測を用いて初期化オラクルの勾配更新を実行する。各ステージで必要なのはW+1回の投影勾配評価のみ。
• 時間変動するコスト関数と、意思決定の変更をペナルティとする二次的スイッチングコストを含む最適化問題を定式化。
• 予測の正確性と計算効率の両立を図るため、有限ウィンドウWの再収束ホライズン最適化を用いる。
• RHAGでは、Nesterovの加速勾配法を活用して収束性とレグレット性能を向上。
• 動的レグレット（オンラインアルゴリズムのコストと最適な後知的コストの差）を用いてレグレットを分析。

実験結果

リサーチクエスチョン

• RQ1 有限の予測ウィンドウを効果的に活用する高速で勾配ベースのオンラインアルゴリズムを設計できるか。これは、スイッチングコストを伴う時間変動する凸最適化におけるレグレットを低減する。
• RQ2 予測ウィンドウ長Wがオンラインアルゴリズムのレグレット性能にどのように影響するか。
• RQ3 この設定における任意の決定的オンラインアルゴリズムの動的レグレットに対する根本的な限界（下界）は何か。
• RQ4 提案されたRHAGアルゴリズムの性能は、この根本的限界にどの程度近いか。
• RQ5 更新ステップで最新の意思決定情報を使用することは、特に加速手法において性能を向上させるか、悪化させるか。

主な発見

• RHGDとRHAGは、予測ウィンドウ長Wに伴い指数関数的に減少するレグレットバウンドを達成し、初期化オラクルを著しく上回る性能を示す。
• RHAGのレグレット上界は、導出された動的レグレットの根本的下界の定数倍の範囲内にあり、最悪ケースにおいてほぼ最適であることを示している。
• 加速によりRHGDに比べてレグレットの減少率が優れており、強い凸性と滑らかさの仮定のもとでも性能が安定している。
• 数値実験では、RHAGはコストの観点でモデル予測制御（MPC）と同等またはそれを上回り、かつはるかに高速であることが示された。
• 更新に最新の意思決定を用いることは、Nesterov法の入力の摂動に対して感受性が高いため、RHAGの性能を劣化させる。一方、RHGDはそれほど影響を受けない。
• レグレットの根本的下界は、最悪ケース解析により導出され、タイトであることが示された。これは、決定的オンラインアルゴリズムが最悪ケースにおいてRHAGより著しく優れたレグレットを達成することは不可能であることを示している。