[论文解读] Convex Optimization for Big Data

Volkan Cevher, Stephen Becker+1 more|arXiv (Cornell University)|Nov 4, 2014

Sparse and Compressive Sensing Techniques参考文献 19被引用 105

一句话总结

本文提出了一种利用一阶方法、随机化和并行/分布式计算来实现大规模数据中可扩展凸优化的框架。结果表明，通过在小数据子集上使用近似且低精度的计算，随机化的一阶算法能够实现显著的加速效果——在使用大量处理器时，速度提升往往接近线性。

ABSTRACT

This article reviews recent advances in convex optimization algorithms for Big Data, which aim to reduce the computational, storage, and communications bottlenecks. We provide an overview of this emerging field, describe contemporary approximation techniques like first-order methods and randomization for scalability, and survey the important role of parallel and distributed computation. The new Big Data algorithms are based on surprisingly simple principles and attain staggering accelerations even on classical problems.

研究动机与目标

• 解决大规模数据优化中的计算、存储和通信瓶颈问题。
• 开发可扩展的算法，以处理经典方法（如内点法）无法处理的超大规模数据集。
• 通过近似技术减少计算开销，实现对大规模凸问题的高效求解。
• 探索随机化、一阶方法与分布式架构之间的协同效应，以提升可扩展性。
• 在分布式、异步和去中心化环境中，提供收敛性和性能的理论保证。

提出的方法

• 采用复合凸优化公式：最小化 f(x) + g(x)，其中 f 是光滑函数，g 是凸函数但可能非光滑。
• 采用仅依赖梯度和近端映射的一阶方法，实现低精度、高速度的求解。
• 引入随机化，以统计估计器替代精确的梯度和近端计算，降低每次迭代的计算成本。
• 通过异步、去中心化的并行和分布式实现方式，实现跨多处理器的可扩展计算。
• 采用坐标下降和梯度方法，结合部分更新和最小通信，实现近乎无依赖的并行执行。
• 通过局部平均和图拉普拉斯矩阵的收敛性分析，对去中心化网络中的通信进行建模。

实验结果

研究问题

• RQ1 一阶方法如何被有效适配以在大规模维度的超大数据问题中实现高效扩展？
• RQ2 当仅使用部分或近似数据时，随机化一阶方法的收敛性特性如何？
• RQ3 一阶方法的并行和分布式实现，在处理器数量增加时，能在多大程度上实现接近线性的加速？
• RQ4 异步和去中心化通信模型对大规模优化中收敛速度和解质量的影响如何？
• RQ5 具有非光滑正则化项（如 ℓ1-范数）的复合模型是否在估计精度和可扩展性方面优于经典最小二乘法？

主要发现

• 通过仅检查数据中可忽略不计的极小部分，随机化一阶方法即可获得高质量解，从而实现显著加速。
• 在多核系统上，随机梯度和坐标下降方法的异步、无锁实现保持了收敛性，并实现了显著的速度提升。
• 结合随机化的近端梯度方法即使在使用近似预言机信息和通信延迟的情况下，仍能保持理论收敛性。
• 当目标函数可分解时，并行坐标下降方法可在使用大量处理器时实现接近线性的加速。
• 采用局部平均的去中心化梯度方法可实现与集中式方法相当的收敛速度，其性能退化程度取决于网络的图拉普拉斯矩阵。
• 随机化、一阶方法与分布式计算的结合，使得传统内点法无法处理的大规模数据问题得以可扩展求解。