[論文レビュー] Analysis of Dual-Based PID Controllers through Convolutional Mirror Descent

Santiago Balseiro, Haihao Lu+2 more|arXiv (Cornell University)|Feb 12, 2022

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

この論文は、Convolutional Mirror Descent (CMD) —— 歷代勾配の重み付き移動平均を用いる新しい一階アルゴリズム —— と関連付けることで、オンライン割り当て問題におけるデュアルベースのPIDコントローラーの最初のレグレットバウンドを確立した。著者らは、CMDが敵対的入力のもとで低レグレットを達成することを証明し、これにより予算パーセィングや類似設定におけるPIDコントローラーの最初の理論的性能保証を導出した。

ABSTRACT

Dual-based proportional-integral-derivative (PID) controllers are often employed in practice to solve online allocation problems with global constraints, such as budget pacing in online advertising. However, controllers are used in a heuristic fashion and come with no provable guarantees on their performance. This paper provides the first regret bounds on the performance of dual-based PID controllers for online allocation problems. We do so by first establishing a fundamental connection between dual-based PID controllers and a new first-order algorithm for online convex optimization called \emph{Convolutional Mirror Descent} (CMD), which updates iterates based on a weighted moving average of past gradients. CMD recovers, in a special case, online mirror descent with momentum and optimistic mirror descent. We establish sufficient conditions under which CMD attains low regret for general online convex optimization problems with adversarial inputs. We leverage this new result to give the first regret bound for dual-based PID controllers for online allocation problems. As a byproduct of our proofs, we provide the first regret bound for CMD for non-smooth convex optimization, which might be of independent interest.

研究の動機と目的

• 広く使われているデュアルベースのPIDコントローラーの理論的保証を提供することで、オンライン割り当てにおける理論と実践のギャップを埋めること。
• オンライン凸最適化におけるデュアルベースのPIDコントローラーと一階最適化アルゴリズムとの間の明確な関係を形式化すること。
• オンラインミラー降下にモーメンタムとオプティミスティックミラー降下を一般化する新しいアルゴリズムであるConvolutional Mirror Descent (CMD) を導入し、その分析を行うこと。
• 敵対的入力のもとで、オンライン割り当て問題におけるデュアルベースのPIDコントローラーの最初のレグレットバウンドを導出すること。
• モーメンタムおよび微分項が実用的設定におけるコントローラーのロバスト性と性能に与える影響を調査すること。

提案手法

• 過去の勾配の重み付き移動平均を用いて反復を更新するアルゴリズムとして、Convolutional Mirror Descent (CMD) を導入する。
• 一般のオンライン凸最適化において、敵対的入力のもとでCMDが低レグレットを達成する十分条件を確立する。
• 特定のパrameterizationのもとで、デュアルベースのPIDコントローラーがCMDと等価であることを証明し、レグレット解析を可能にする。
• CMDのレグレットバウンドを活用して、オンライン割り当てにおけるデュアルベースのPIDコントローラーの最初の理論的性能保証を導出する。
• 理論的洞察と実験的評価を通じて、PIDコントローラーにおける積分（I）、微分（D）、およびモーメンタム項の役割を分析する。
• 非滑らか凸最適化におけるCMDの最初のレグレットバウンドを提供する。これは独立して興味深い可能性を有する。

実験結果

リサーチクエスチョン

• RQ1 オンライン割り当て問題におけるデュアルベースのPIDコントローラーは、保証可能なレグレットバウンドを有する分析が可能か？
• RQ2 デュアルベースのPIDコントローラーとCMDのような一階最適化アルゴリズムとの根本的関係は何か？
• RQ3 モーメンタムおよび微分項は、オンライン割り当てにおけるコントローラーの性能とロバスト性にどのように影響を与えるか？
• RQ4 特に非滑らか設定において、CMDは敵対的オンライン凸最適化で低レグレットを達成するか？
• RQ5 モーメンタムやオプティミズムを組み込むことで、PIDコントローラーの理論的性能を向上させられ、その条件は何か？

主な発見

• この論文は、オンライン割り当て問題におけるデュアルベースのPIDコントローラーの最初のレグレットバウンドを確立し、その広範な使用に対する理論的裏付けを提供した。
• 特定のパrameter設定のもとで、デュアルベースのPIDコントローラーが正式にConvolutional Mirror Descent (CMD) と等価であることが示された。
• 重み付け方式およびステップサイズに特定の条件が満たされれば、CMDは敵対的入力のもとで低レグレットを達成する。
• 積分項によるモーメンタムの導入は、ステップサイズが過大に設定された場合でもロバスト性を向上させ、良好な性能を示す範囲を拡大する。
• 微分項（D）は、大きなステップサイズ下で近似プロキシマルポイント法を模倣することで性能を向上させ、安定性を高める。
• 実験的結果から、最適なステップサイズ（例：s=10）とモーメンタム（例：β=0.99）のもとで、IおよびD項を追加しても性能にほとんど影響がないことが示され、高いロバスト性が示唆された。