[论文解读] Convex Relaxation Regression: Black-Box Optimization of Smooth Functions by Learning Their Convex Envelopes

Mohammad Gheshlaghi Azar, Eva L. Dyer+1 more|arXiv (Cornell University)|Feb 5, 2016

Sparse and Compressive Sensing Techniques参考文献 41被引用 3

一句话总结

该论文提出了一种名为凸松弛回归（CoRR）的黑箱优化方法，通过在随机函数评估上进行约束ℓ₁回归来估计平滑非凸函数的凸包络，从而学习其凸松弛。该方法证明了CoRR以误差O((log(1/δ)/T)^α)收敛至全局最小值，建立了多项式收敛速率，并可利用凸优化求解器实现高效全局优化。

ABSTRACT

Finding efficient and provable methods to solve non-convex optimization problems is an outstanding challenge in machine learning and optimization theory. A popular approach used to tackle non-convex problems is to use convex relaxation techniques to find a convex surrogate for the problem. Unfortunately, convex relaxations typically must be found on a problem-by-problem basis. Thus, providing a general-purpose strategy to estimate a convex relaxation would have a wide reaching impact. Here, we introduce Convex Relaxation Regression (CoRR), an approach for learning convex relaxations for a class of smooth functions. The main idea behind our approach is to estimate the convex envelope of a function $f$ by evaluating $f$ at a set of $T$ random points and then fitting a convex function to these function evaluations. We prove that with probability greater than $1-δ$, the solution of our algorithm converges to the global optimizer of $f$ with error $\mathcal{O} \Big( \big(\frac{\log(1/δ) }{T} \big)^α \Big)$ for some $α> 0$. Our approach enables the use of convex optimization tools to solve a class of non-convex optimization problems.

研究动机与目标

• 开发一种通用的黑箱全局优化方法，适用于梯度信息不可用的平滑非凸函数。
• 仅通过函数评估估计非凸函数的凸包络，从而能够使用凸优化工具。
• 为估计的凸松弛方法提供理论收敛保证，确保其逼近真实全局最小值。
• 在保持精度和效率的同时，将该方法扩展至高维空间。
• 通过CoRR输出初始化局部求解器，实现混合优化，以提升全局收敛性能。

提出的方法

• CoRR通过在T个随机点采样函数f，并利用约束ℓ₁回归拟合一个凸函数，来估计函数f的凸包络。
• 该方法使用凸函数基（如多项式）表示估计的凸近似函数，通过正则化确保凸性。
• 回归过程受到约束，以平衡近似误差与近似函数的期望经验，促进紧致的下界。
• 该算法在零阶设置下运行，仅需函数评估，无需梯度信息。
• 理论分析假设f(x) − f*满足Hölder连续性，并推导出依赖于T和δ的收敛速率。
• 提出了一种自适应采样扩展，通过迭代优化采样分布以降低样本复杂度。

实验结果

研究问题

• RQ1 仅通过随机函数评估，能否准确估计平滑非凸函数的凸松弛？
• RQ2 随着样本数量增加，估计的凸包络是否以高概率收敛至真实全局最小值？
• RQ3 CoRR估计值向全局最小值的收敛速率是多少？其随维度和样本量的变化规律如何？
• RQ4 在高维非凸设置下，CoRR与传统全局优化方法相比表现如何？
• RQ5 CoRR能否与局部优化方法有效结合，以实现精确的全局最小化？

主要发现

• CoRR以概率大于1−δ收敛至全局最小值，误差为O((log(1/δ)/T)^α)，其中α>0取决于f(x)−f*的Hölder指数。
• 对于Salomon函数，当所有测试维度下样本数达到一百万时，CoRR的误差低于1e−5。
• 在维度高于十的情况下，拟牛顿法和模拟退火法无法恢复全局最小值，而CoRR保持了优异性能。
• 当使用CoRR初始化局部优化器（如拟牛顿法）时，Salomon函数在所有测试维度下均能完美恢复全局最小值。
• 当真实凸包络位于函数类H内时，理论保证成立，并进一步扩展至其接近H的情况。
• 该方法在维度上具有良好可扩展性，对于给定的误差容限，所需样本量随维度呈多项式增长。