[论文解读] High-dimensional Black-box Optimization via Divide and Approximate Conquer

Peng Yang, Ke Tang+1 more|arXiv (Cornell University)|Mar 11, 2016

Metaheuristic Optimization Algorithms Research参考文献 13被引用 27

一句话总结

本文提出了一种名为 Divide and Approximate Conquer (DAC) 的新型高维黑箱优化框架，通过多项式时间近似部分解的评估来解决子问题之间的相互依赖性，从而在精确评估具有指数复杂度的情况下仍能收敛至全局最优解。DAC 在非可分问题上的表现优于现有最先进方法。

ABSTRACT

Divide and Conquer (DC) is conceptually well suited to high-dimensional optimization by decomposing a problem into multiple small-scale sub-problems. However, appealing performance can be seldom observed when the sub-problems are interdependent. This paper suggests that the major difficulty of tackling interdependent sub-problems lies in the precise evaluation of a partial solution (to a sub-problem), which can be overwhelmingly costly and thus makes sub-problems non-trivial to conquer. Thus, we propose an approximation approach, named Divide and Approximate Conquer (DAC), which reduces the cost of partial solution evaluation from exponential time to polynomial time. Meanwhile, the convergence to the global optimum (of the original problem) is still guaranteed. The effectiveness of DAC is demonstrated empirically on two sets of non-separable high-dimensional problems.

研究动机与目标

• 解决高维黑箱优化中子问题相互依赖且精确评估部分解计算成本过高的挑战。
• 克服传统分治（DC）方法在非可分问题上的局限性，因其需要高成本、精确的子问题评估。
• 开发一种可扩展且收敛的优化框架，通过近似部分解评估来保持全局收敛性保证。
• 在合成非可分问题和多类支持向量机的超参数调优任务中，验证 DAC 的有效性。
• 提供理论和实证证据，证明多项式时间近似部分解评估可在高维空间中实现有效的全局优化。

提出的方法

• 提出一种新框架——分治近似求解（DAC），用近似策略替代部分解的精确评估，将计算成本从指数时间降低至多项式时间。
• 引入基于补集的近似机制，通过利用其他子问题的固定值来估计部分解的函数值，避免完整重新评估。
• 通过迭代细化部分解以保持充分的探索与开发，确保收敛至全局最优解。
• 实现一种实用的实例化方法 DAC-HC，结合随机采样与局部搜索，在近似框架下优化子问题。
• 将 DAC 与现有无导数优化器（如 CMA-ES、RESOO）集成，以在基准问题上评估性能。
• 在近似阶段通过参数分组与降维技术缩小解空间，提升可扩展性。

实验结果

研究问题

• RQ1 当精确评估计算不可行时，高维黑箱优化中的相互依赖子问题能否被有效求解？
• RQ2 在非可分问题中，以多项式时间近似部分解评估是否能保持收敛至全局最优解？
• RQ3 DAC 在高维、非可分问题上与现有最先进无导数优化方法相比表现如何？
• RQ4 DAC 能否有效应用于具有高维、相互依赖搜索空间的实际超参数调优任务？
• RQ5 DAC 框架中，近似精度与收敛速度之间的权衡关系如何？

主要发现

• 在 USPS、News20 和 Letter 数据集上，DAC 在多类支持向量机超参数调优任务中的测试准确率高于网格搜索、RESOO 和 CMA-ES。
• 在 USPS 数据集上，DAC-HC 的平均测试准确率为 94.60%，标准差为 ±0.37%，优于 RESOO（94.38%）和 CMA-ES（93.33%）。
• 在 Letter 数据集上，DAC-HC 达到 85.72% 的准确率，标准差仅为 ±0.24%，展现出高性能与高稳定性。
• 在 News20 数据集上，DAC-HC 的准确率与 RESOO 相当（85.40%），但标准差更小（±0.11% vs. ±1.44%），表明其鲁棒性更强。
• CMA-ES 在所有三个数据集上的表现均劣于网格搜索，表明标准无导数方法在高维、非可分超参数调优任务中表现不佳。
• 结果证实，通过 DAC 调优多个非共享的超参数可获得优于使用单一共享超参数的性能，验证了高维优化的必要性。