[论文解读] Adaptive Online Estimation of Piecewise Polynomial Trends

Dheeraj Baby, Yu-Xiang Wang|arXiv (Cornell University)|Jan 1, 2020

Advanced Bandit Algorithms Research被引用 2

一句话总结

该论文提出了一种自适应在线学习算法，用于在噪声梯度反馈下估计分段多项式趋势。通过基于总变差的变分约束，该方法实现了几乎最优的动态遗憾，其值为 $\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$，并能自适应地调整未知平滑度，而无需事先知道半径 $C_n$，且该方法可扩展至多个非参数族的极小极大最优性。

ABSTRACT

We consider the framework of non-stationary stochastic optimization [Besbes et al, 2015] with squared error losses and noisy gradient feedback where the dynamic regret of an online learner against a time varying comparator sequence is studied. Motivated from the theory of non-parametric regression, we introduce a new variational constraint that enforces the comparator sequence to belong to a discrete $k^{th}$ order Total Variation ball of radius $C_n$. This variational constraint models comparators that have piece-wise polynomial structure which has many relevant practical applications [Tibshirani, 2014]. By establishing connections to the theory of wavelet based non-parametric regression, we design a polynomial time algorithm that achieves the nearly optimal dynamic regret of $ ilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$. The proposed policy is adaptive to the unknown radius $C_n$. Further, we show that the same policy is minimax optimal for several other non-parametric families of interest.

研究动机与目标

• 解决具有时变比较器的非平稳随机优化中的动态遗憾问题。
• 通过离散 $k^{\text{th}}$ 阶总变差球约束，对具有分段多项式结构的比较器进行建模。
• 设计一种多项式时间算法，以自适应方式处理比较器序列未知的平滑度（半径 $C_n$）。
• 在噪声反馈下实现非参数趋势估计的几乎最优动态遗憾。
• 在多个非参数族中建立极小极大最优性，超越分段多项式结构。

提出的方法

• 引入一种变分约束，强制比较器序列位于半径为 $C_n$ 的离散 $k^{\text{th}}$ 阶总变差球内，以建模分段多项式趋势。
• 利用小波基非参数回归的联系，设计一种计算高效的在线策略。
• 采用一种新颖的自适应正则化方案，可在未知 $C_n$ 的情况下进行调整，而无需事先知识。
• 通过算法性能的理论分析，推导出动态遗憾界为 $\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$。
• 利用小波阈值化原理，在保持计算可行性的同时近似比较器序列。
• 通过利用变分约束中的结构相似性，确保算法在多个非参数函数类中保持极小极大最优性。

实验结果

研究问题

• RQ1 在线学习算法是否能在噪声梯度反馈下，对分段多项式趋势实现几乎最优的动态遗憾？
• RQ2 在具有时变比较器的非平稳优化中，如何实现对未知平滑度（即未知 $C_n$）的自适应性？
• RQ3 何种变分约束能够有效建模分段多项式结构，同时确保计算效率？
• RQ4 所提出的算法是否对超越分段多项式的更广泛非参数函数类也具有极小极大最优性？
• RQ5 小波基非参数回归与在线动态遗憾最小化之间存在何种联系？

主要发现

• 所提出的算法实现了动态遗憾界 $\tilde{O}(n^{\frac{1}{2k+3}}C_n^{\frac{2}{2k+3}})$，该界对 $k^{\text{th}}$ 阶分段多项式趋势而言几乎是最优的。
• 该算法对未知半径 $C_n$ 具有自适应性，无需事先了解比较器序列的平滑度水平。
• 同一策略对多个其他非参数族也实现了极小极大最优性，表明其具有广泛适用性。
• 使用 $k^{\text{th}}$ 阶总变差约束能有效建模在实际应用中相关的分段多项式结构。
• 理论分析证实，该遗憾界在对数因子范围内是紧致的，与文献中已知的下界一致。
• 与小波基回归的联系使得在线估计在统计精度和计算效率之间实现了良好平衡。