[论文解读] Improving the Convergence Rate of One-Point Zeroth-Order Optimization using Residual Feedback.

Yan Zhang, Yi Zhou+2 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Bandit Algorithms Research参考文献 18被引用 12

一句话总结

本文提出一种基于残差反馈的一点零阶优化方法，仅在每次迭代中进行一次函数评估，即可达到传统两点方案的收敛速率。通过利用连续反馈点之间的差异来估计梯度，该方法在确定性及利普希茨连续梯度函数下实现了最优查询复杂度，并在随机带 bandit 设置中匹配了两点 ZO 的性能。

ABSTRACT

Many existing zeroth-order optimization (ZO) algorithms adopt two-point feedback schemes due to their fast convergence rate compared to one-point feedback schemes. However, two-point schemes require two evaluations of the objective function at each iteration, which can be impractical in applications where the data are not all available a priori, e.g., in online optimization. In this paper, we propose a novel one-point feedback scheme that queries the function value only once at each iteration and estimates the gradient using the residual between two consecutive feedback points. When optimizing a deterministic Lipschitz function, we show that the query complexity of ZO with the proposed one-point residual feedback matches that of ZO with the existing two-point feedback schemes. Moreover, the query complexity of the proposed algorithm can be improved when the objective function has Lipschitz gradient. Then, for stochastic bandit optimization problems, we show that ZO with one-point residual feedback achieves the same convergence rate as that of ZO with two-point feedback with uncontrollable data samples. We demonstrate the effectiveness of the proposed one-point residual feedback via extensive numerical experiments.

研究动机与目标

• 解决在线或流式优化中两点反馈不切实际的问题，因为此时无法获得完整数据访问。
• 提升通常落后于两点方案的一点零阶优化的收敛速率。
• 在仅使用每次迭代一次函数评估的前提下，实现与两点 ZO 方法相当的查询复杂度。
• 将所提方法扩展至随机带 bandit 优化场景，并在不可控数据样本下展示其鲁棒性。

提出的方法

• 提出一种仅在每次迭代中查询目标函数一次的一点反馈方案，避免了对两次评估的需求。
• 利用两个连续迭代点的函数值之差（残差）来估计梯度，以近似梯度方向。
• 利用目标函数的利普希茨连续性来界定估计误差，确保收敛性。
• 推导确定性及利普希茨梯度函数下的理论查询复杂度边界，证明其与两点 ZO 方案等价。
• 将残差反馈机制适配至随机带 bandit 设置，其中数据样本不可控且呈序列性。
• 通过理论分析证明，在相同条件下，该方法的收敛速率与两点 ZO 相当。

实验结果

研究问题

• RQ1 能否在一仅进行一次函数评估的每次迭代中，使一点零阶优化方案达到与两点 ZO 方法相同的收敛速率？
• RQ2 在确定性及利普希茨梯度条件下，残差反馈机制如何提升一点 ZO 中的梯度估计精度？
• RQ3 对于确定性及光滑目标函数，所提一点残差反馈方法的查询复杂度是多少？
• RQ4 在具有不可控数据样本的随机带 bandit 优化中，所提方法是否能保持与两点 ZO 相同的收敛速率？

主要发现

• 所提的一点残差反馈方法在确定性利普希茨函数下，实现了与两点 ZO 方案相同的查询复杂度。
• 对于具有利普希茨梯度的函数，所提方法的查询复杂度可进一步优于标准的一点 ZO 方法。
• 在随机带 bandit 优化中，尽管每次迭代仅使用一次函数评估，该方法仍能匹配两点 ZO 的收敛速率。
• 数值实验验证了所提方法在实际性能上优于现有的一点 ZO 方法。