[论文解读] Convex optimization on Banach Spaces

Ronald DeVore, Vladimir Temlyakov|arXiv (Cornell University)|Jan 1, 2014

Sparse and Compressive Sensing Techniques参考文献 14被引用 4

一句话总结

该论文在仅使用函数值评估、无需导数信息的前提下，为一般巴拿赫空间中的凸最小化问题开发了贪心优化算法。它建立了依赖于目标函数光滑性以及最小化器相对于给定字典的稀疏性或可压缩性的先验收敛速率界限，在凸性假设下实现了指数级误差衰减。

ABSTRACT

Greedy algorithms which use only function evaluations are applied to convex optimization in a general Banach space $X$. Along with algorithms that use exact evaluations, algorithms with approximate evaluations are treated. A priori upper bounds for the convergence rate of the proposed algorithms are given. These bounds depend on the smoothness of the objective function and the sparsity or compressibility (with respect to a given dictionary) of a point in $X$ where the minimum is attained.

研究动机与目标

• 开发仅使用函数值评估的、适用于一般巴拿赫空间中凸优化的无导数贪心算法。
• 建立仅依赖于函数值评估、与维度无关的先验收敛速率界限。
• 分析目标函数的光滑性以及最小化器的稀疏性/可压缩性对收敛性的影响。
• 通过坐标方向递归方法，将单变量凸优化结果推广至 [0,1]^d 上的多变量情形。
• 为同时包含精确与近似函数值评估的算法提供理论保证。

提出的方法

• 贪心算法递归地利用单位范数且关于取反对称的字典 D ⊂ X 构建逼近解。
• 在每一步中，算法选择一个字典元素 φ_m，使得 E(G_m + αφ_m) 的目标函数值下降最大，其中 α 为某常数。
• 该选择过程避免计算 Fréchet 导数 E′，转而依赖于函数值的比较。
• 关键技巧是利用凸性，通过区间缩减与误差传播来界定函数值逼近中的误差。
• 对于多变量问题，算法沿每个坐标方向递归应用单变量方法，利用切片上的最小值实现降维。
• 误差界通过如下性质推导：对于凸函数 f，其斜率单调不减，即当 0≤a<b≤c<d≤1 时，有 (f(b)−f(a))/(b−a) ≤ (f(d)−f(c))/(d−c)。

实验结果

研究问题

• RQ1 如何在仅使用函数值评估、无法获取导数信息的前提下，对巴拿赫空间中的凸优化问题进行求解？
• RQ2 针对此类无导数贪心算法，可建立怎样的收敛速率界限？
• RQ3 目标函数的光滑性以及最小化器的稀疏性/可压缩性如何影响收敛速率？
• RQ4 能否将单变量凸优化算法推广至多变量情形，并提供可证明的误差界？
• RQ5 近似函数值评估对贪心算法收敛行为有何影响？

主要发现

• 在 [0,1] 上的单变量凸函数情形下，所提算法在 d 维情况下经 (3+2m)^d 次函数评估后，误差界为 2^{-m}(4m+2)^d。
• 该算法保证 f(x_m) ≤ min_x f(x) + 2^{-m}(4m+2)^d，且误差随 m 呈指数衰减。
• 在单变量情形下，每轮迭代最多使用 3+2m 次评估，每次将搜索区间缩小一半，每步引入的误差不超过 4δ。
• 对于 Lipschitz 类 Lip₁¹，最优最坏情况误差为 1/(4m)，表明该算法在该设定下近乎最优。
• 多变量算法递归应用单变量方法，利用边际最小值的凸性以维持误差控制。
• 收敛速率同时依赖于目标函数 E 的光滑性以及最小化器 x* 相对于字典 D 的稀疏性或可压缩性。