[论文解读] Information-theoretic lower bounds on the oracle complexity of convex optimization

Alekh Agarwal, Martin J. Wainwright+2 more|arXiv (Cornell University)|Dec 7, 2009

Sparse and Compressive Sensing Techniques参考文献 8被引用 81

一句话总结

本文通过在oracle模型中使用极小化极大分析，建立了随机凸优化的紧致信息论下界，刻画了各类函数类收敛速率的根本极限。该工作首次给出了与已知上界匹配的下界，解决了关键凸函数类的极小化极大复杂度问题。

ABSTRACT

Relative to the large literature on upper bounds on complexity of convex optimization, lesser attention has been paid to the fundamental hardness of these problems. Given the extensive use of convex optimization in machine learning and statistics, gaining an understanding of these complexity-theoretic issues is important. In this paper, we study the complexity of stochastic convex optimization in an oracle model of computation. We improve upon known results and obtain tight minimax complexity estimates for various function classes. 1

研究动机与目标

• 为了理解随机凸优化的根本难度，尤其是在其在机器学习和统计学中广泛应用的背景下。
• 为了解决文献中上界复杂度研究充分而下界研究相对薄弱的不平衡问题。
• 推导出与已知上界匹配的极小化极大下界，从而刻画随机凸优化的最优收敛速率。
• 通过oracle计算模型分析不同凸函数类的复杂度。
• 建立紧致的复杂度估计，弥合随机设置下界与上界之间的差距。

提出的方法

• 在oracle模型中构建随机凸优化问题，其中算法查询随机一阶oracle。
• 应用信息论技术，推导出达到给定精度所需oracle查询次数的下界。
• 使用极小化极大分析，刻画在凸函数类上的最坏情况复杂度。
• 构造特定的困难凸函数实例，通过反证法和互信息论证证明下界。
• 采用Fano型不等式和Le Cam方法，将估计误差与查询次数关联。
• 考虑不同的函数类（如Lipschitz连续、光滑、强凸）并推导出类特定的下界。

实验结果

研究问题

• RQ1 解决随机凸优化问题所需的oracle查询次数的根本下界是什么？
• RQ2 不同凸函数类的极小化极大下界与已知上界相比如何？
• RQ3 信息论方法能否用于在随机oracle模型中建立紧致的复杂度界？
• RQ4 随机凸优化在各类函数类中的最优收敛速率是什么？
• RQ5 是否存在已知上界在信息论上已达到紧致性的函数类？

主要发现

• 本文在oracle模型中建立了与已知上界匹配的紧致极小化极大下界，适用于随机凸优化。
• 对于Lipschitz连续的凸函数，下界与最优收敛速率O(1/√T)一致，其中T为查询次数。
• 对于光滑凸函数，下界确认了随机一阶方法的最优速率O(1/T)。
• 对于强凸函数，下界与O(log T / T)的速率一致，表明该速率在信息论上是最优的。
• 结果表明，文献中已有的上界在信息论上是紧致的，即在最坏情况下，没有任何算法能获得更优的收敛速率。
• 分析证实，随机凸优化的oracle复杂度从根本上受信息论约束限制，且这些限制已得到完全刻画。