[论文解读] A gradient estimator via L1-randomization for online zero-order optimization with two point feedback

Arya Akhavan, Evgenii Chzhen+2 more|arXiv (Cornell University)|May 27, 2022

Sparse and Compressive Sensing Techniques被引用 4

一句话总结

本文提出了一种基于 L1-随机化的新型梯度估计器，用于具有两点反馈的在线零阶优化，实现了在凸、Lipschitz 条件下的改进遗憾界。该方法实现了自适应、数据驱动的性能，与最先进结果相当或更优——尤其在 ℓ₁-范数 Lipschitz 假设下，将速率提高了 √log(d) 因子，并实现了噪声抵消。

ABSTRACT

This work studies online zero-order optimization of convex and Lipschitz functions. We present a novel gradient estimator based on two function evaluations and randomization on the $\ell_1$-sphere. Considering different geometries of feasible sets and Lipschitz assumptions we analyse online dual averaging algorithm with our estimator in place of the usual gradient. We consider two types of assumptions on the noise of the zero-order oracle: canceling noise and adversarial noise. We provide an anytime and completely data-driven algorithm, which is adaptive to all parameters of the problem. In the case of canceling noise that was previously studied in the literature, our guarantees are either comparable or better than state-of-the-art bounds obtained by Duchi et al. (2015) and Shamir (2017) for non-adaptive algorithms. Our analysis is based on deriving a new weighted Poincaré type inequality for the uniform measure on the $\ell_1$-sphere with explicit constants, which may be of independent interest.

研究动机与目标

• 解决仅能访问函数值（含噪声）而无法获取梯度时的在线零阶优化挑战。
• 通过引入基于 ℓ₁-球的梯度估计器，克服先前依赖 ℓ₂ 或 ℓ∞-随机化的局限性。
• 设计一种任意时间、数据驱动的算法，自适应于未知问题参数，如维度和 Lipschitz 常数。
• 在噪声抵消（噪声项相互抵消）和对抗性噪声（最坏情况噪声）两种情形下分析性能。
• 建立理论保证，改进现有边界，尤其在 ℓ₁-范数设置下，并推导出关于 ℓ₁-球上均匀测度的新型 Poincaré 型不等式。

提出的方法

• 提出一种基于在 ℓ₁-球上均匀分布的随机向量的两点反馈梯度估计器，实现对次梯度的无偏估计。
• 将该估计器集成到在线对偶平均（ODA）框架中，以在凸、Lipschitz 条件下最小化累积遗憾。
• 利用 ℓ₁-球上均匀测度的加权 Poincaré 型不等式，控制方差并推导出精确的集中界。
• 设计一种自适应算法，根据观测到的函数值动态调整步长，从而无需事先知晓问题参数。
• 采用一种新颖的参数化策略，动态适应观测到的噪声和函数变化，确保任意时间性能。
• 分析噪声抵消与对抗性噪声两种模型，表明该算法在两种情形下均能保持强遗憾保证。

实验结果

研究问题

• RQ1 基于 ℓ₁-随机化的梯度估计器是否能在在线零阶优化中优于现有的 ℓ₂ 或 ℓ∞-基估计器？
• RQ2 在 ℓ₁-范数 Lipschitz 假设和噪声抵消条件下，两点反馈下可实现的最优遗憾率是多少？
• RQ3 能否构建一种自适应、数据驱动的算法，在不预先知晓维度、Lipschitz 常数或噪声水平的情况下表现良好？
• RQ4 所提出的估计器在对抗性噪声下是否具有鲁棒性？与噪声抵消情形相比，其遗憾率如何？
• RQ5 能否为 ℓ₁-球上的均匀测度推导出具有显式常数的新型 Poincaré 型不等式？该不等式在分析零阶优化中是否具有实用性？

主要发现

• 所提出的 L1-随机化梯度估计器在目标函数为 ℓ₁-Lipschitz 且可行集为概率单纯形时，其遗憾界相比先前工作提高了 √log(d) 因子。
• 对于 ℓ₂-Lipschitz 函数，遗憾界与 Shamir (2017) 的最先进结果一致，仅相差绝对常数，且对维度的依赖关系具有显式控制。
• 在噪声抵消情形下，算法实现了 O(√(T log d)) 的极小极大最优遗憾率（当 q = 2 时），以及 q = 1 时 O(√(T log d)) 的上界（仅相差 log(d) 因子），与已知下界一致。
• 自适应版本的算法在噪声抵消情形下性能与非自适应版本相当，而在对抗性噪声下仅略有下降。
• 本文推导出关于 ℓ₁-球上均匀测度的新型加权 Poincaré 不等式，具有显式常数，是关键技术贡献，具有潜在的广泛适用性。
• 在对抗性噪声下，遗憾率为 O(T^{3/4})，这是该设置下首个针对自适应、数据驱动算法的此类保证，尽管最优性仍有待证明。