[论文解读] AdaDGS: An adaptive black-box optimization method with a nonlocal directional Gaussian smoothing gradient

Hoang Tran, Guannan Zhang|arXiv (Cornell University)|Nov 3, 2020

Image Enhancement Techniques参考文献 35被引用 7

一句话总结

AdaDGS 提出了一种自适应的黑箱优化方法，用非局部方向高斯平滑（DGS）梯度替代传统的局部梯度，结合回溯线搜索自动确定步长，并自适应地更新平滑半径。该方法消除了对人工超参数调优的需求，在多峰、高维问题（包括基准函数、机翼设计和超级马里奥关卡生成）中表现出色。

ABSTRACT

The local gradient points to the direction of the steepest slope in an infinitesimal neighborhood. An optimizer guided by the local gradient is often trapped in local optima when the loss landscape is multi-modal. A directional Gaussian smoothing (DGS) approach was recently proposed in (Zhang et al., 2020) and used to define a truly nonlocal gradient, referred to as the DGS gradient, for high-dimensional black-box optimization. Promising results show that replacing the traditional local gradient with the DGS gradient can significantly improve the performance of gradient-based methods in optimizing highly multi-modal loss functions. However, the optimal performance of the DGS gradient may rely on fine tuning of two important hyper-parameters, i.e., the smoothing radius and the learning rate. In this paper, we present a simple, yet ingenious and efficient adaptive approach for optimization with the DGS gradient, which removes the need of hyper-parameter fine tuning. Since the DGS gradient generally points to a good search direction, we perform a line search along the DGS direction to determine the step size at each iteration. The learned step size in turn will inform us of the scale of function landscape in the surrounding area, based on which we adjust the smoothing radius accordingly for the next iteration. We present experimental results on high-dimensional benchmark functions, an airfoil design problem and a game content generation problem. The AdaDGS method has shown superior performance over several the state-of-the-art black-box optimization methods.

研究动机与目标

• 解决基于非局部 DGS 梯度优化中的超参数敏感性问题，特别是平滑半径和学习率的调优需求。
• 在多峰、高维损失曲面中提升全局优化性能，因为局部梯度常因陷入局部最优而失效。
• 开发一种自适应机制，根据线搜索学习到的步长动态调整平滑半径，减少对人工调参的依赖。
• 在多样化的高维黑箱优化任务中（包括合成基准、工程设计和程序化内容生成）验证 AdaDGS 的有效性。
• 在梯度信息不可用或具有误导性（如强化学习、神经架构搜索和生成模型优化）的场景中，实现稳健且高效的优化。

提出的方法

• 采用非局部 DGS 梯度作为搜索方向，通过沿正交方向积分函数值，实现比局部梯度更具信息量且更全局感知的方向。
• 在 DGS 方向上执行回溯线搜索，以在每次迭代中确定最优步长，提升对噪声或波动曲面的鲁棒性。
• 将学习到的步长作为损失函数局部尺度的估计值，用于指导下一轮迭代中平滑半径的自适应更新。
• 保持初始平滑半径固定，并基于线搜索结果使用乘法更新规则动态调整半径，确保平滑能捕捉到相关的全局结构。
• 将自适应半径更新机制集成到标准的基于梯度的优化循环中，保留一阶方法的效率和收敛特性。
• 使用高斯-埃尔米特积分计算 DGS 梯度中的方向导数，确保在每维固定函数评估次数下实现准确且稳定的估计。

实验结果

研究问题

• RQ1 能否设计一种自适应机制，以消除 DGS 基优化中对平滑半径和学习率的人工调优需求？
• RQ2 在多峰曲面上，沿 DGS 梯度方向使用线搜索是否相比固定步长方法能带来更好的收敛性和全局探索能力？
• RQ3 基于线搜索结果对平滑半径进行自适应调整，如何提升高维黑箱问题中的优化性能？
• RQ4 AdaDGS 是否能在复杂高维任务（如程序化内容生成）中超越最先进的黑箱优化方法（如 IPop-CMA 和进化策略）？
• RQ5 在资源受限的场景下，使用自适应半径和线搜索的 DGS 方法，在采样效率与优化质量之间存在何种权衡？

主要发现

• 在四项高维优化任务中的三项，AdaDGS 显著优于 IPop-CMA，包括在超级马里奥关卡生成中最大化天空方块、敌人和击杀数。
• 在 MaxSkyTiles 目标下，AdaDGS 在 88% 的试验中生成了目标高天空方块图案，而 IPop-CMA 为 74%，表明其具有更优的全局收敛性并减少了陷入局部极小值的情况。
• 与 IPop-CMA 相比，AdaDGS 生成最优关卡图案的概率高出 4%，表明其探索能力更强，且能更有效地逃离较差的局部最优。
• 基于线搜索结果的自适应半径更新带来了更稳定、更有效的搜索方向，降低了对初始参数设置的敏感性。
• 尽管由于高斯-埃尔米特积分导致每次迭代的函数评估次数增加，AdaDGS 仍实现了更快的收敛速度和更优的最终解，采样成本在优化质量上得到了合理补偿。
• 该方法在多样化的基准测试中表现一致，包括高维合成函数、机翼设计和程序化游戏关卡生成，证实了其稳健性和泛化能力。