[論文レビュー] Beyond No-Regret: Competitive Control via Online Optimization with Memory

Guanya Shi, Yiheng Lin+3 more|arXiv (Cornell University)|Feb 13, 2020

Optimization and Search Problems参考文献 37被引用数 2

ひとこと要約

本稿では、過去 $ p $ 回の意思決定に依存するスイッチングコストを伴う記憶付きオンライン最適化のための、Optimistic Regularized Online Balanced Descent (ORBED) を導入する。本手法は次元に依存しない定数の競争比を達成し、敵対的オンライン制御との関連を確立することで、広範なクラスの制御問題に対して初めて定数競争比を達成するポリシーを提供する。

ABSTRACT

This paper presents competitive algorithms for a novel class of online optimization problems with memory. We consider a setting where the learner seeks to minimize the sum of a hitting cost and a switching cost that depends on the previous $p$ decisions. This setting generalizes Smoothed Online Convex Optimization. The proposed approach, Optimistic Regularized Online Balanced Descent, achieves a constant, dimension-free competitive ratio. Further, we show a connection between online optimization with memory and online control with adversarial disturbances. This connection, in turn, leads to a new constant-competitive policy for a rich class of online control problems.

研究の動機と目的

• 過去 $ p $ 回の意思決定に依存するスイッチングコストを伴うオンライン最適化問題に取り組み、標準的なスムージングオンライン凸最適化を一般化する。
• この記憶依存設定において、次元に依存しない競争比を達成する競争的アルゴリズムを構築する。
• 記憶付きオンライン最適化と敵対的摂動下のオンライン制御の間の理論的リンクを確立する。
• 提案されたフレームワークを用いて、広範なクラスのオンライン制御問題に対して、定数競争比を達成する新しい制御ポリシーを設計する。

提案手法

• 過去 $ p $ 回の意思決定の記憶を意思決定プロセスに統合するオンラインアルゴリズムとして、Optimistic Regularized Online Balanced Descent (ORBED) を提案する。
• 将来のコスト変化を予測する予測成分を統合し、敵対的シーケンスへの適応性を向上させる。
• 到達コストと記憶依存スイッチングコストの両方をバランスさせる正則化更新ルールを用い、安定性と競争性を保証する。
• 記憶項の構造を活用して、問題の次元に依存しない競争比を導出する。
• 記憶に基づくオンライン最適化と敵対的摂動下のオンライン制御の間の類似した数学的構造を通じて、両者の関連を定式化する。
• ORBEDフレームワークから、敵対的摂動下でも定数競争比を維持する制御ポリシーを導出する。

実験結果

リサーチクエスチョン

• RQ1 過去 $ p $ 回の意思決定に依存するスイッチングコストを考慮し、定数競争比を達成するオンライン最適化アルゴリズムを設計できるか？
• RQ2 オンライン最適化に記憶を組み込むと、競争比およびアルゴリズムの安定性にどのような影響を与えるか？
• RQ3 記憶付きオンライン最適化と敵対的摂動下のオンライン制御との間には、理論的関連があるか？
• RQ4 提案されたフレームワークは、広範なクラスのオンライン制御問題に対して、定数競争比を達成するポリシーを導出できるか？
• RQ5 ORBEDにおける予測的予測メカニズムは、標準的なオンラインバランスドディセントの手法に比べ、敵対的環境下で性能を向上させるか？

主な発見

• 提案された ORBED アルゴリズムは、問題の次元に依存しない定数競争比を達成しており、従来手法に比べ顕著な改善を示す。
• スイッチングコストが過去 $ p $ 回の意思決定に依存する場合でも、競争比は有界かつ次元に依存しないままである。
• 記憶付きオンライン最適化と敵対的摂動下のオンライン制御の間の明確な理論的関連が確立され、分野間のインサイトを可能にする。
• 本フレームワークにより、敵対的摂動下の広範なクラスのオンライン制御問題に対して、初めて知られる定数競争比ポリシーが得られた。
• ORBEDにおける予測的予測コンponentは、将来のコスト変化を予測することで性能を向上させ、定数競争比の達成に寄与する。
• 本研究の結果は、記憶依存スイッチングコストを許容することで、スムージングオンライン凸最適化を一般化し、競争的オンラインアルゴリズムの適用範囲を拡大する。