[论文解读] Analysis of Dual-Based PID Controllers through Convolutional Mirror Descent

Santiago Balseiro, Haihao Lu+2 more|arXiv (Cornell University)|Feb 12, 2022

Advanced Bandit Algorithms Research被引用 4

一句话总结

本文通过将双变量PID控制器与卷积镜像下降（CMD）建立联系，首次为在线分配问题中的基于对偶的PID控制器建立了后悔边界。CMD是一种新颖的一阶算法，利用过去梯度的加权移动平均。作者证明了在对抗性输入下CMD可实现低后悔，并据此首次为预算 pacing 及类似场景中的PID控制器提供了理论性能保证。

ABSTRACT

Dual-based proportional-integral-derivative (PID) controllers are often employed in practice to solve online allocation problems with global constraints, such as budget pacing in online advertising. However, controllers are used in a heuristic fashion and come with no provable guarantees on their performance. This paper provides the first regret bounds on the performance of dual-based PID controllers for online allocation problems. We do so by first establishing a fundamental connection between dual-based PID controllers and a new first-order algorithm for online convex optimization called \emph{Convolutional Mirror Descent} (CMD), which updates iterates based on a weighted moving average of past gradients. CMD recovers, in a special case, online mirror descent with momentum and optimistic mirror descent. We establish sufficient conditions under which CMD attains low regret for general online convex optimization problems with adversarial inputs. We leverage this new result to give the first regret bound for dual-based PID controllers for online allocation problems. As a byproduct of our proofs, we provide the first regret bound for CMD for non-smooth convex optimization, which might be of independent interest.

研究动机与目标

• 通过为广泛使用的基于对偶的PID控制器提供可证明的性能保证，弥合在线分配中的理论与实践差距。
• 在在线凸优化中，形式化基于对偶的PID控制器与一阶优化算法之间的联系。
• 引入并分析卷积镜像下降（CMD），一种推广了带动量的在线镜像下降和乐观镜像下降的新算法。
• 在对抗性输入下，为在线分配问题中基于对偶的PID控制器首次建立后悔边界。
• 探讨动量和微分项在实际设置中对控制器鲁棒性和性能的影响。

提出的方法

• 引入卷积镜像下降（CMD），该算法使用过去梯度的加权移动平均来更新迭代点。
• 建立CMD在一般在线凸优化中实现低后悔的充分条件，适用于对抗性输入。
• 证明在特定参数化下，基于对偶的PID控制器与CMD等价，从而实现后悔分析。
• 利用CMD的后悔边界，推导出基于对偶的PID控制器在在线分配中的首次理论性能保证。
• 通过实验评估和理论洞察，分析PID控制器中积分（I）、微分（D）和动量项的作用。
• 为非光滑凸优化中的CMD提供首个后悔边界，该结果可能具有独立兴趣。

实验结果

研究问题

• RQ1 能否为在线分配问题中的基于对偶的PID控制器提供可证明的后悔边界？
• RQ2 基于对偶的PID控制器与一阶优化算法（如CMD）之间存在何种根本联系？
• RQ3 动量和微分项如何影响PID控制器在在线分配中的性能和鲁棒性？
• RQ4 CMD是否在对抗性在线凸优化中实现低后悔，特别是在非光滑设置下？
• RQ5 通过引入动量或乐观性，能否改进PID控制器的理论性能，以及在何种条件下可以实现？

主要发现

• 本文首次为在线分配问题中基于对偶的PID控制器建立了后悔边界，为其广泛应用提供了理论依据。
• 在特定参数设置下，正式证明了基于对偶的PID控制器与卷积镜像下降（CMD）等价。
• 当权重方案和步长满足特定条件时，CMD在对抗性输入下可实现低后悔。
• 通过积分项引入的动量可提高鲁棒性，尤其在步长被高估时，显著扩大了良好性能的运行范围。
• 微分项（D）通过近似邻近点方法，在大步长下提升性能，增强稳定性。
• 实验结果表明，当步长和动量参数最优时（例如 s=10, β=0.99），增加I和D项对性能影响极小，表明系统具有高度鲁棒性。