[論文レビュー] Leveraging Predictions in Smoothed Online Convex Optimization via Gradient-based Algorithms

Yingying Li, Na Li|arXiv (Cornell University)|Nov 25, 2020

Advanced Bandit Algorithms Research被引用数 5

ひとこと要約

本稿では、長期予測誤差の影響を最小限に抑えるために多段階先読み予測を活用する、滑らか化オンライン凸最適化（SOCO）の勾配ベースオンラインアルゴリズムである「再収束予測不正確勾配（RHIG）」を提案する。RHIGはWステップ先までの予測に限定して依存し、理論的分析により最適なWは環境の変動と予測誤差のバランスをとるものであることが示され、予測誤差の遠方への影響は指数関数的に減少する。

ABSTRACT

We consider online convex optimization with time-varying stage costs and additional switching costs. Since the switching costs introduce coupling across all stages, multi-step-ahead (long-term) predictions are incorporated to improve the online performance. However, longer-term predictions tend to suffer from lower quality. Thus, a critical question is: how to reduce the impact of long-term prediction errors on the online performance? To address this question, we introduce a gradient-based online algorithm, Receding Horizon Inexact Gradient (RHIG), and analyze its performance by dynamic regrets in terms of the temporal variation of the environment and the prediction errors. RHIG only considers at most $W$-step-ahead predictions to avoid being misled by worse predictions in the longer term. The optimal choice of $W$ suggested by our regret bounds depends on the tradeoff between the variation of the environment and the prediction accuracy. Additionally, we apply RHIG to a well-established stochastic prediction error model and provide expected regret and concentration bounds under correlated prediction errors. Lastly, we numerically test the performance of RHIG on quadrotor tracking problems.

研究の動機と目的

• ノイズが多い長期予測が使用される滑らか化オンライン凸最適化（SOCO）において、予測誤差が性能を低下させることの課題に対処すること。
• 従来のモデルが短期予測が完全に正確であると仮定し、長期コストが敵対的であるという制限を克服すること。これは現実の予測品質の低下を反映していない。
• 各ステップで完全なマルチステージ最適化を必要とせず、多段階先読み予測を効果的に活用できる、計算効率の良い勾配ベースのアルゴリズムを開発すること。
• 時間的環境変動と予測誤差の両方を考慮したリグレットバウンドを分析し、ホライズンWの原理的選定法を提供すること。
• 相関のある予測誤差を持つ確率的予測誤差モデル下でのパフォーマンス保証を確立すること。期待リグレットと高確率集中境界を含む。

提案手法

• 長期的で不正確な予測に過度に依存しないために、予測の最新Wステップのみを用いる再収束ホライズン勾配ベースアルゴリズムRHIGを提案する。
• 動的リグレットバウンドを導出する。このバウンドは、環境の時間的変動$V_T$と最初のW予測の誤差に依存し、kステップ先の誤差の影響は指数関数的に減少する。
• 相関構造を持つ確率的予測誤差モデルを導入し、これにより先行研究を一般化する。このモデル下で期待リグレットと集中境界を導出する。
• パrameters $\alpha$, $L$, $h$, および $\rho = 1 - \alpha/(4L)$ を用いたリャプノフ型解析により、リグレットをバウンドし、収束性を保証する。
• システムダイナミクスとコスト関数をモデル化することで、クアッドコプター追従問題にアルゴリズムを適用し、予測誤差と予期しない摂動に対しても頑健であることを示す。
• 行列ノルムと確率的ベクトル集中を用いて、高確率の意味でのリグレットをバウンドする。衰減係数$\rho^k$は、遠方の予測誤差の影響が小さくなることを反映する。

実験結果

リサーチクエスチョン

• RQ1 長期予測が不正確である状況下で、勾配ベースのアルゴリズムはどのように多段階先読み予測を効果的に活用できるか？
• RQ2 より多くの予測（Wを大きくする）ことと、精度が低下する長期予測への悪影響を避けることの間で、最適なトレードオフは何か？
• RQ3 予測誤差、特に相関のある誤差は、SOCOにおけるオンラインアルゴリズムのパフォーマンスにどのように影響するか。その影響は定量的に測定可能か？
• RQ4 計算効率の良い勾配ベース手法は、現実の予測誤差モデル下で、AFHC や CHC などの既存の最適化ベース手法を上回ることができるか？
• RQ5 予測がノイズを含む状況下で、予期しない環境の変化やショックに対して、提案手法はどれほど頑健か？

主な発見

• RHIGのリグレットバウンドは予測ステップ$k$とともに指数関数的に減少し、$k$ステップ先の誤差が$k$が大きくなるにつれて影響が小さくなることが示された。
• 最適な$W$の選択は、環境変動$V_T$と予測誤差のバランスをとるものである。$V_T$が高い場合には$W$を大きく、予測誤差が大きい場合には$W$を小さくすることが好ましい。
• 確率的予測誤差モデル下では、期待リグレットと集中境界の両方とも、長期的な予測誤差の相関に起因する影響が指数関数的に減少する。
• クアッドコプター追従問題における数値実験では、RHIGはAFHC や CHC を上回り、特に予測誤差が高い条件下で顕著な優位性を示した。
• RHIGは予期しない将来的なショックに対しても頑健であり、他のアルゴリズムが性能を低下させる中で安定したパフォーマンスを維持した。
• 理論的リグレットバウンドは$R(W) = \rho^W \frac{2L}{\alpha} C_1 T \log(2) + \mathbf{u}^T \mathbf{A}_W \mathbf{u}$であり、$\|\mathbf{A}_W\|_F$は$\rho^t$に従って減少する項によってバウンドされ、遠方の予測の影響が小さくなることが確認された。