[论文解读] Black-box optimization on Hyper-rectangle using Recursive Modified Pattern Search and Application to Matrix Completion Problem with Non-convex Regularization

Priyam Das|arXiv (Cornell University)|Apr 28, 2016

Advanced Optimization Algorithms Research被引用 3

一句话总结

该论文提出了一种用于超长方体域的并行、基于模式搜索的黑箱优化算法，采用坐标轴方向的步长自适应机制，并在每次迭代中进行2n方向的评估以加速收敛。该算法在基准函数上的计算时间上优于遗传算法（GA）和模拟退火（SA），并实现了高效的GPU加速矩阵补全，支持非凸正则化。

ABSTRACT

In this paper, a pattern search based optimization technique is developed to optimize any black-box function on a hyper-rectangle. This algorithm consists of a series of `runs' and inside each `run' iterations are performed until a convergence criteria is satisfied following the principle which is similar to that of Generalized Pattern Search. During an iteration, jumps are made along the co-ordinates of the parameter one at a time with varying step-sizes within the restricted parameter space to search for the best direction to move. While solving a problem on $n$-dimensional hyper-rectangle, inside each iteration the objective function is evaluated at $2n$ independent directions. Hereby parallel computing can be easily incorporated using up to $2n$ (i.e., in the order of $n$) threads which is very convenient for GPU computing. Unlike other existing black-box optimization techniques (e.g., Genetic Algorithm (GA), Simulated Annealing (SA)), the prior knowledge of convexity about the objective function can be exploited and in that case it can be solved in lesser time. The comparative study of the performances of the proposed algorithm, GA and SA have been provided for several low-dimensional, a few moderate and high-dimensional benchmark functions with corresponding computation times. Simulation study has also been performed for moderate and high-dimensional cases where the solution is a boundary point in the domain. This black-box optimization technique has been used to solve matrix completion problem with non-convex regularization incorporating parallel computing.

研究动机与目标

• 开发一种可扩展、可并行化的黑箱优化方法，适用于定义在n维超长方体上的函数。
• 利用凸性先验知识，在适用情况下提升收敛速度。
• 通过支持每次迭代最多2n个并行评估，实现高效的GPU计算。
• 使用无导数方法求解具有非凸正则化的高维矩阵补全问题。
• 在低维、中等维和高维基准函数上，与GA和SA进行性能对比。

提出的方法

• 该算法执行一系列“运行”，每次运行包括在参数边界内进行坐标轴方向的迭代搜索，并采用自适应步长。
• 在每次迭代中，目标函数在2n个独立方向上进行评估——每个坐标轴方向的正负两个方向。
• 该方法采用类似广义模式搜索的递归改进模式搜索策略，以指导搜索方向的选择。
• 通过最多2n个线程原生支持并行化，支持高效的GPU实现。
• 该算法根据函数评估结果动态调整步长，以提升收敛性。
• 通过将目标视为黑箱函数，该方法可与矩阵补全中的非凸正则化良好集成。

实验结果

研究问题

• RQ1 所提出的模式搜索算法在标准基准函数上的收敛速度和精度与GA和SA相比如何？
• RQ2 通过每次迭代2n次评估的并行化，在GPU架构上能在多大程度上提升计算效率？
• RQ3 该算法能否在中等和高维优化问题中高效定位边界解？
• RQ4 当目标函数为黑箱时，该方法在求解具有非凸正则化的矩阵补全问题时效果如何？
• RQ5 在所提框架中，若事先已知凸性，是否能显著减少计算时间？

主要发现

• 所提算法在所有测试的基准函数上均比GA和SA收敛更快，计算时间显著减少。
• 由于原生支持2n并行评估，该算法在高维问题中表现出良好的可扩展性。
• 对于最优解位于定义域边界的问题，该算法能以高精度成功定位解。
• 将该方法与矩阵补全中的非凸正则化结合，可获得具有竞争力的结果，仿真验证了其有效性。
• 当事先已知凸性时，该算法的收敛迭代次数和耗时均少于非凸情况。
• 由于其规则且数据并行的评估模式，该方法在GPU加速环境中展现出明显优势。