[论文解读] A simple parameter-free and adaptive approach to optimization under a minimal local smoothness assumption

Peter L. Bartlett, Victor Gabillon+1 more|arXiv (Cornell University)|Oct 1, 2018

Advanced Bandit Algorithms Research参考文献 1被引用 16

一句话总结

该论文提出了一种无需参数、自适应的优化算法，在最小局部光滑性假设下实现了最先进 regret 保证，且无需知晓噪声水平或光滑性。该算法在低噪声和零噪声情形下显著提升了收敛性，包括确定性反馈情形，此时其对一大类函数实现了指数级 regret 衰减。

ABSTRACT

We study the problem of optimizing a function under a \\emph{budgeted number of evaluations}. We only assume that the function is \\emph{locally} smooth around one of its global optima. The difficulty of optimization is measured in terms of 1) the amount of \\emph{noise} $b$ of the function evaluation and 2) the local smoothness, $d$, of the function. A smaller $d$ results in smaller optimization error. We come with a new, simple, and parameter-free approach. First, for all values of $b$ and $d$, this approach recovers at least the state-of-the-art regret guarantees. Second, our approach additionally obtains these results while being \ extit{agnostic} to the values of both $b$ and $d$. This leads to the first algorithm that naturally adapts to an \ extit{unknown} range of noise $b$ and leads to significant improvements in a moderate and low-noise regime. Third, our approach also obtains a remarkable improvement over the state-of-the-art SOO algorithm when the noise is very low which includes the case of optimization under deterministic feedback ($b=0$). There, under our minimal local smoothness assumption, this improvement is of exponential magnitude and holds for a class of functions that covers the vast majority of functions that practitioners optimize ($d=0$). We show that our algorithmic improvement is borne out in experiments as we empirically show faster convergence on common benchmarks.

研究动机与目标

• 开发一种在最小假设下表现良好的优化算法，具体为在全局最优值附近的局部光滑性以及有界噪声。
• 消除对噪声水平或光滑性等调参的需求，实现对未知函数特性的完全自适应。
• 在无需事先知晓噪声或光滑性的情况下，于随机反馈与确定性反馈设置中均实现最优 regret 保证。
• 在低噪声与确定性情形下提升性能，此时现有方法如 SOO 与 StoSOO 表现次优。
• 在标准基准测试中，通过实证验证其收敛速度优于最先进树结构优化算法。

提出的方法

• 该算法采用与 SOO 和 StoSOO 类似的树状搜索结构，但引入一种新颖的自适应选择规则，可基于观测到的函数值与噪声估计动态调整探索策略。
• 其采用无需参数的上置信度（UCB）风格准则，通过利用局部函数变化，隐式适应未知的噪声水平与局部光滑性。
• 该方法依赖于一个最小局部光滑性假设，由参数 $ d $ 定义，其中 $ d $ 越小表示在最优值附近函数的正则性越高。
• 选择规则通过基于观测方差与函数行为的自适应置信区间，避免了对学习率或探索系数的显式调参。
• 该算法对噪声水平 $ b $ 与光滑性参数 $ d $ 均保持无感知，从而实现对不同情形的自动适应。
• 当 $ d = 0 $ 时，在确定性情形（$ b = 0 $）下，该算法实现指数级 regret 衰减，适用于一大类实际函数。

实验结果

研究问题

• RQ1 能否设计一种无需参数的优化算法，在未知噪声水平或局部光滑性的情况下，实现最优 regret 保证？
• RQ2 在确定性反馈情形（$ b = 0 $）下，该算法表现如何，特别是当函数并非全局光滑时？
• RQ3 该算法是否能自然适应不同噪声水平，优于需要调参噪声估计的方法？
• RQ4 当函数具有零局部光滑性（$ d = 0 $）且无噪声时，regret 速率的改进程度如何？
• RQ5 该算法能否在无需超参数调优的情况下，于随机与确定性反馈设置中均保持强性能？

主要发现

• 所提出的算法 StroquOOL 在所有噪声与光滑性水平下均实现了至少最先进水平的 regret 保证，且无需参数调优。
• 在确定性反馈情形（$ b = 0 $）下，当 $ d = 0 $ 时，StroquOOL 实现了指数级 regret 衰减（$ e^{-n/\text{polylog}(n)} $），显著优于 SOO 与 SequOOL。
• 对于花环函数（$ d = 0 $），StroquOOL 在确定性情形下表现出指数级 regret 衰减，而 SOO 仅表现出 $ e^{-\text{poly}(\text{log } n)} $ 的衰减。
• 在低噪声情形（$ b = 0.1 $）下，StroquOOL 优于 POO 与 HOO，后者无法自然适应噪声变化且需要精确的噪声估计。
• 当噪声被低估时（$ \tilde{b} \neq b $），POO 与 HOO 性能显著下降，而 StroquOOL 在所有噪声水平下均保持强性能。
• 在包裹正弦函数与花环函数上的实证结果表明，StroquOOL 的收敛速度更快，且对噪声与光滑性的适应能力优于 SOO、StoSOO 与 POO。