[论文解读] Dynamical Models and Tracking Regret in Online Convex Programming

Eric C. Hall, Rebecca Willett|arXiv (Cornell University)|Jan 7, 2013

Advanced Bandit Algorithms Research被引用 18

一句话总结

本文提出动态镜像下降（DMD），一种在线凸优化方法，通过整合动力学模型，实现相对于高度可变比较序列的低遗憾。通过跟踪一族中最佳动力学模型并利用正则化，DMD 实现了与比较序列偏离最优模型程度成比例的跟踪遗憾界，相较于先前方法，在非平稳环境中显著提升了性能。

ABSTRACT

This paper describes a new online convex optimization method which incorporates a family of candidate dynamical models and establishes novel tracking regret bounds that scale with the comparator's deviation from the best dynamical model in this family. Previous online optimization methods are designed to have a total accumulated loss comparable to that of the best comparator sequence, and existing tracking or shifting regret bounds scale with the overall variation of the comparator sequence. In many practical scenarios, however, the environment is nonstationary and comparator sequences with small variation are quite weak, resulting in large losses. The proposed Dynamic Mirror Descent method, in contrast, can yield low regret relative to highly variable comparator sequences by both tracking the best dynamical model and forming predictions based on that model. This concept is demonstrated empirically in the context of sequential compressive observations of a dynamic scene and tracking a dynamic social network.

研究动机与目标

• 解决现有在线凸优化方法在非平稳环境中依赖静态或分段常数比较序列的局限性。
• 开发一种将动力学模型融入在线预测的框架，以提升适应性和性能。
• 建立新型跟踪遗憾界，其与比较序列偏离已知或学习到的动力学模型的程度成比例。
• 通过结合动力学建模与稀疏性正则化，在高维、数据稀缺的场景中实现有效预测。
• 通过提供一种可扩展、自适应的在线算法，弥合批量方法与流式数据之间的差距，用于序列预测。

提出的方法

• 提出动态镜像下降（DMD），一种将随机滤波中的状态更新与在线凸优化相结合的在线优化算法。
• 采用基于 Bregman 散度的更新规则，并引入时变正则化项，以平衡预测精度与模型平滑性。
• 整合一组候选动力学模型，并通过动态固定共享（DFS）变体中的固定共享机制自适应选择表现最佳的模型。
• 采用复合损失函数，结合时变数据保真项 $ f_t(\theta) $ 和静态正则化项 $ r(\theta) $，如诱导稀疏性的 $ \ell_1 $-范数。
• 推导出依赖于比较序列偏离最佳动力学模型轨迹的遗憾界，而非仅依赖于整体变化量。
• 利用强凸性和 Bregman 散度的性质来界定遗憾，关键不等式源自最优性条件与凸性。

实验结果

研究问题

• RQ1 能否通过利用动力学模型而非假设静态或分段常数行为，增强在线凸优化以跟踪高度可变的比较序列？
• RQ2 如何推导出与已知动力学模型偏离程度成比例的跟踪遗憾界，而非与比较序列的总变差成比例？
• RQ3 在观测有限的高维流式数据场景中，引入动力学模型与正则化能带来多大的性能提升？
• RQ4 所提出的方法能否在动态成像和社交网络追踪等非平稳环境中超越经典滤波与批量优化技术？
• RQ5 从候选模型族中自适应选择最佳动力学模型，在实际中如何影响遗憾与预测精度？

主要发现

• 动态镜像下降（DMD）算法实现了与比较序列偏离模型族中最佳动力学模型程度成比例的跟踪遗憾界，而非与比较序列的总变差成比例。
• 当不存在动力学时，遗憾界退化为标准在线凸优化中已建立的界限。
• 动态固定共享（DFS）算法实现了与最佳动力学模型序列偏离程度成比例的遗憾界，从而实现在时间上自适应的模型选择。
• 实验结果表明，在压缩运动成像和动态社交网络估计中，即使底层动力学发生切换，该方法仍表现出强大的跟踪性能。
• 由于整合了动力学建模与正则化，该方法在流式、高维且数据稀缺的场景中显著优于经典滤波与批量方法。
• 理论分析证实，遗憾界取决于模型失配（即偏离最佳模型的程度），而非整体路径变化，使其在非平稳环境中更具适用性。