[论文解读] A Unified Algorithmic Framework for Block-Structured Optimization Involving Big Data

Mingyi Hong, Meisam Razaviyayn+2 more|arXiv (Cornell University)|Nov 9, 2015

Sparse and Compressive Sensing Techniques参考文献 82被引用 35

一句话总结

本文提出了块连续上界最小化（BSUM）框架，这是一种针对大规模、块结构优化问题的统一算法方法，适用于大数据应用。通过在每个块上依次最小化目标函数的代理上界，BSUM 广义化并统一了诸如块坐标下降（BCD）、凸-凸凸规划（CCCP）和非负矩阵分解（NMF）等知名方法，实现了高效、分布式和并行计算，并在凸与非凸问题中均具备强收敛性保证。

ABSTRACT

This article presents a powerful algorithmic framework for big data optimization, called the Block Successive Upper bound Minimization (BSUM). The BSUM includes as special cases many well-known methods for analyzing massive data sets, such as the Block Coordinate Descent (BCD), the Convex-Concave Procedure (CCCP), the Block Coordinate Proximal Gradient (BCPG) method, the Nonnegative Matrix Factorization (NMF), the Expectation Maximization (EM) method and so on. In this article, various features and properties of the BSUM are discussed from the viewpoint of design flexibility, computational efficiency, parallel/distributed implementation and the required communication overhead. Illustrative examples from networking, signal processing and machine learning are presented to demonstrate the practical performance of the BSUM framework

研究动机与目标

• 解决在具有海量变量和复杂结构的大数据中设计高效、可扩展优化算法的挑战。
• 将多种现有算法——如 BCD、CCCP、NMF、EM 和 BCPG——统一到一个单一、连贯的算法框架中。
• 实现在现代并行与分布式计算架构上的实际部署，且通信开销最小化。
• 在一般条件下（包括非凸与非光滑目标）为该框架提供理论收敛性保证。
• 通过可定制的块选择规则、步长策略和问题分解方式，支持灵活的算法设计。

提出的方法

• 将优化问题表述为具有可分变量和约束的块结构问题。
• 在每次迭代中，固定其他块，仅在一块或多块上最小化目标函数的凸上界近似（代理函数）。
• 采用分块更新规则，使用固定或递减步长策略以确保收敛。
• 支持基于随机选择和高斯-索尔特韦尔（G-So）规则的块选择，以提升收敛速度。
• 通过确保子问题可分解并最小化通信开销，实现并行与分布式计算。
• 集成拉格朗日松弛与对偶更新以处理线性或非线性耦合约束，尽管非线性情况下收敛仍具挑战。

实验结果

研究问题

• RQ1 能否通过单一算法框架统一大数据分析中使用的多种块结构优化方法？
• RQ2 如何设计 BSUM 框架，以确保在非凸与非光滑问题中的收敛性？
• RQ3 在并行与分布式实现中，块选择与步长的最优策略是什么？
• RQ4 通信延迟如何影响分布式 BSUM 的收敛性？异步更新能否提升性能？
• RQ5 BSUM 框架能否扩展以处理非线性耦合约束，同时保持收敛性？

主要发现

• BSUM 框架在统一的理论框架下广义化并统一了诸如 BCD、CCCP、NMF、EM 和 BCPG 等知名算法。
• 在较弱假设下（包括使用递减步长），该框架可保证非凸与非光滑问题收敛至驻点。
• BSUM 的并行实现可实现显著加速，但由于通信延迟，收敛性并不随节点数量线性扩展。
• 块选择规则的选择（如随机选择与 G-So）对收敛速度有显著影响，通常 G-So 优于随机选择。
• 对于具有耦合约束的问题，朴素的 BCD 风格扩展即使在凸设置下也失败，而基于拉格朗日的方法则导致缓慢的双重循环算法。
• 该框架通过分解子问题并最小化节点间通信，实现了高效的分布式计算，尤其在选择优质代理函数时效果更佳。