[论文解读] A New One-Point Residual-Feedback Oracle For Black-Box Learning and Control

Yan Zhang, Yi Zhou+2 more|arXiv (Cornell University)|Jun 18, 2020

Advanced Bandit Algorithms Research参考文献 29被引用 5

一句话总结

本文提出了一种新颖的一点残差反馈oracle，用于黑箱学习与控制中的零阶优化，利用连续迭代点之间的残差差分，仅通过每次迭代一次函数评估即可估计梯度。该方法在确定性环境下实现了与两点反馈方案相同的查询复杂度，在随机环境下达到了与两点方案相当的收敛速率，从而实现了高效在线优化，适用于无法事先获取完整数据的场景。

ABSTRACT

Zeroth-order optimization (ZO) algorithms have been recently used to solve black-box or simulation-based learning and control problems, where the gradient of the objective function cannot be easily computed but can be approximated using the objective function values. Many existing ZO algorithms adopt two-point feedback schemes due to their fast convergence rate compared to one-point feedback schemes. However, two-point schemes require two evaluations of the objective function at each iteration, which can be impractical in applications where the data are not all available a priori, e.g., in online optimization. In this paper, we propose a novel one-point feedback scheme that queries the function value once at each iteration and estimates the gradient using the residual between two consecutive points. When optimizing a deterministic Lipschitz function, we show that the query complexity of ZO with the proposed one-point residual feedback matches that of ZO with the existing two-point schemes. Moreover, the query complexity of the proposed algorithm can be improved when the objective function has Lipschitz gradient. Then, for stochastic bandit optimization problems where only noisy objective function values are given, we show that ZO with one-point residual feedback achieves the same convergence rate as that of two-point scheme with uncontrollable data samples. We demonstrate the effectiveness of the proposed one-point residual feedback via extensive numerical experiments.

研究动机与目标

• 为解决由于方差高和收敛慢导致的一点反馈在零阶优化中效率低下的问题。
• 开发一种一点反馈方案，使其在确定性与随机环境下均能达到与两点方案相当的查询复杂度。
• 实现实际的在线优化，适用于函数评估成本高或数据按顺序到达的场景。
• 在不牺牲收敛速率的前提下，减少每次迭代的函数查询次数，尤其适用于黑箱控制与学习场景。

提出的方法

• 提出一种一点残差反馈梯度估计器，利用连续点处函数值的差异来估计梯度。
• 该估计器定义为 $ \widetilde{\nabla}f(x) = \frac{1}{\delta} \left( f(x + \delta u) - f(x) \right) u $，其中 $ u $ 从标准正态分布中采样。
• 提出一种新颖的分析框架，利用残差动态来降低估计方差，实现与两点方案相当的性能。
• 采用自适应步长 $ \eta \propto 1/\sqrt{T} $ 和探索参数 $ \delta \propto T^{-1/4} $，以平衡偏差与方差。
• 在随机环境下使用小批量梯度估计 $ \widetilde{g}_b(x) $ 以降低噪声，批量大小 $ b \propto \sqrt{T}/d $。
• 在利普希茨连续与光滑性假设下分析收敛性，推导出期望次优性与梯度范数的上界。

实验结果

研究问题

• RQ1 一点反馈方案是否能在零阶优化中实现与两点反馈方案相同的查询复杂度？
• RQ2 基于残差的梯度估计是否能充分降低方差，以达到与两点方案相当的收敛速率？
• RQ3 在存在噪声函数评估的随机环境下，所提方法是否能保持快速收敛？
• RQ4 在所提框架中，步长、探索参数与批量大小之间的最优权衡是什么？

主要发现

• 所提的一点残差反馈方案在确定性凸问题中实现了 $ \mathcal{O}(d^2 \epsilon^{-2}) $ 的查询复杂度，与最优两点方案相当。
• 对于光滑函数，查询复杂度进一步提升至 $ \mathcal{O}(d^3 \epsilon^{-1.5}) $，优于标准的一点方法。
• 在随机环境下，方法实现了 $ \mathcal{O}(\sigma^2 d^2 \epsilon^{-3} + \sigma_g^2 d \epsilon^{-2}) $ 的查询复杂度，与两点方案在不可控数据下的表现一致。
• 收敛速率为 $ \mathcal{O}(d / \sqrt{T} + d^2 / T) $，这意味着为达到 $ \epsilon $-精度，需要 $ T = \mathcal{O}(d^2 \epsilon^{-2}) $ 次迭代。
• 理论分析证实，残差反馈能有效降低方差，使一点方案在查询复杂度方面可与两点方案比肩。
• 数值实验验证了该方法在多种黑箱优化任务中的有效性，展示了快速收敛与鲁棒性。