[论文解读] Mixed Robust/Average Submodular Partitioning: Fast Algorithms, Guarantees, and Applications

Kai Wei, Rishabh Iyer+3 more|arXiv (Cornell University)|Oct 29, 2015

Complexity and Algorithms in Graphs参考文献 30被引用 20

一句话总结

本文提出了可扩展的混合鲁棒/平均情况子模划分算法，结合了鲁棒优化与平均情况优化的优势。所提方法包括贪心算法、待定最小化（majorization-minimization）和基于松弛的算法，在保持最先进近似保证的同时，可扩展至大规模真实世界数据集，适用于分布式机器学习、聚类和图像分割等任务。

ABSTRACT

We investigate two novel mixed robust/average-case submodular data partitioning problems that we collectively call Submodular Partitioning. These problems generalize purely robust instances of the problem, namely max-min submodular fair allocation (SFA) [12] and min-max submodular load balancing (SLB) [25], and also average-case instances, that is the submodular welfare problem (SWP) [26] and submodular multiway partition (SMP) [5]. While the robust versions have been studied in the theory community [11, 12, 16, 25, 26], existing work has focused on tight approximation guarantees, and the resultant algorithms are not generally scalable to large real-world applications. This is in contrast to the average case, where most of the algorithms are scalable. In the present paper, we bridge this gap, by proposing several new algorithms (including greedy, majorization-minimization, minorization-maximization, and relaxation algorithms) that not only scale to large datasets but that also achieve theoretical approximation guarantees comparable to the state-of-the-art. We moreover provide new scalable algorithms that apply to additive combinations of the robust and average-case objectives. We show that these problems have many applications in machine learning (ML), including data partitioning and load balancing for distributed ML, data clustering, and image segmentation. We empirically demonstrate the efficacy of our algorithms on real-world problems involving data partitioning for distributed optimization (of convex and deep neural network objectives), and also purely unsupervised image segmentation.

研究动机与目标

• 解决鲁棒子模划分问题中的可扩展性差距，此类问题传统上提供紧密的近似保证，但在大规模应用中缺乏效率。
• 弥合理论上最优但不切实际的鲁棒算法与可扩展但鲁棒性较弱的平均情况方法之间的鸿沟。
• 通过目标函数的加法组合，开发新算法以在鲁棒性与平均情况性能之间取得平衡，从而实现在真实世界机器学习工作负载中的实际部署。
• 展示所提框架在分布式机器学习、数据聚类和图像分割任务中的适用性。
• 在确保大规模数据集上的计算效率的同时，为新算法提供理论近似保证。

提出的方法

• 提出一种新颖的子模划分公式，将鲁棒目标（如最大最小公平性）与平均情况目标（如子模福利）统一整合到一个框架中。
• 设计一种贪心算法，通过迭代将元素分配至各划分以最大化综合鲁棒/平均目标，同时提供理论近似界。
• 引入待定最小化和待定最大化方案，通过连续凸近似序列高效优化非凸、非光滑的子模目标函数。
• 开发一种连续松弛方法，将离散划分问题转化为可利用投影梯度法求解的连续优化问题。
• 利用子模性质，确保在所提算法框架下实现收敛性和近似保证。
• 将算法集成至分布式机器学习和无监督图像分割的实际工作流中，实现在真实世界数据上的端到端评估。

实验结果

研究问题

• RQ1 我们能否设计出在结合鲁棒与平均情况目标时，仍能保持强理论近似保证的可扩展子模划分算法？
• RQ2 在鲁棒与平均情况子模优化中，所提算法与现有最先进方法相比，在性能与可扩展性方面表现如何？
• RQ3 混合鲁棒/平均情况目标在真实世界机器学习应用（如分布式训练和图像分割）中，能在多大程度上提升公平性与实用性？
• RQ4 在不同目标组合下，所提算法的理论近似界是什么？
• RQ5 所提方法能否在不牺牲解质量的前提下，有效应用于大规模真实世界数据集？

主要发现

• 所提算法在理论近似保证方面达到鲁棒与平均情况子模优化的最先进水平。
• 贪心算法与基于松弛的算法在大规模数据集上表现出良好的可扩展性，支持在分布式深度学习和图像分割等真实世界应用中的实际部署。
• 待定最小化与待定最大化方法在非凸子模目标优化中实现稳定收敛，并生成高质量解。
• 实验评估表明，混合鲁棒/平均情况公式在不牺牲收敛速度的前提下，显著改善了分布式机器学习工作负载中的负载均衡与公平性。
• 在真实世界数据划分任务中，所提算法在解质量与可扩展性方面均优于纯鲁棒或纯平均情况基线方法。
• 该框架在无监督图像分割中表现有效，实现了具有竞争力的结果，同时保持计算效率。