[论文解读] Algorithms for Approximate Minimization of the Difference Between Submodular Functions, with Applications

Rishabh Iyer, Jeff Bilmes|arXiv (Cornell University)|Jul 3, 2012

Complexity and Algorithms in Graphs参考文献 35被引用 73

一句话总结

本文提出了一种高效算法，用于最小化两个子模函数之间的差异，该问题在机器学习应用中具有重要意义，如特征选择和传感器部署。作者提出了一种新颖的模块-模块近似方法，实现了比现有最先进方法更快的收敛速度，同时保持了相当的性能表现，且在组合约束下具备理论保证和可扩展性。

ABSTRACT

We extend the work of Narasimhan and Bilmes [30] for minimizing set functions representable as a dierence between submodular functions. Similar to [30], our new algorithms are guaranteed to monotonically reduce the objective function at every step. We empirically and theoretically show that the per-iteration cost of our algorithms is much less than [30], and our algorithms can be used to efficiently minimize a dierence between submodular functions under various combinatorial constraints, a problem not previously addressed. We provide computational bounds and a hardness result on the multiplicative inapproximability of minimizing the dierence between submodular functions. We show, however, that it is possible to give worst-case additive bounds by providing a polynomial time computable lower-bound on the minima. Finally we show how a number of machine learning problems can be modeled as minimizing the dierence between submodular functions. We experimentally show the validity of our algorithms by testing them on the problem of feature selection with submodular cost features.

研究动机与目标

• 开发比以往工作更快且可扩展的算法，用于在组合约束下最小化两个子模函数之间的差异。
• 为所提出的算法提供收敛性和近似界方面的理论保证。
• 在机器学习应用（如具有子模成本的特征选择）中展示该方法的实际有效性。
• 证明所提出的算法在运行时间方面优于现有启发式方法，同时保持或提升解的质量。
• 建立最小值的多项式时间可计算下界，从而实现最坏情况下的加法近似保证。

提出的方法

• 本文提出了一种基于子模函数模块近似的新型算法框架，具体采用子模函数差异的模块-模块（ModMod）松弛方法。
• 该方法采用贪心下降策略，确保在每次迭代中单调减少目标函数，从而保证收敛。
• 通过利用洛瓦兹扩展和次梯度计算，高效近似子模函数的差异。
• 通过约束优化技术，将该方法扩展以处理各种组合约束，如基数约束或背包约束。
• 通过计算模块次梯度来近似子模函数，从而实现在每次迭代中的快速计算。
• 理论分析包括对乘法不可近似性的难解性结果，以及通过最小值的多项式时间可计算下界证明加法近似界。

实验结果

研究问题

• RQ1 我们能否设计出比以往工作更快且可扩展的算法，用于最小化两个子模函数之间的差异？
• RQ2 是否可能为这类最小化问题提供收敛性和近似质量的理论保证？
• RQ3 在现实世界中的机器学习问题（如具有子模成本的特征选择）中，所提出的算法表现如何？
• RQ4 所提出的方法能否扩展以处理组合约束，如基数约束或背包约束？
• RQ5 在子模差异最小化的背景下，解的质量与计算效率之间的权衡是什么？

主要发现

• 所提出的 ModMod 算法比依赖通用子模最小化的 SubSup 过程快 100 倍，同时达到相当的性能表现。
• 在特征选择任务中，ModMod 和 SupSub 过程显著优于贪心算法（GrF），尤其是在成本为子模的情况下。
• 在 Mushroom 数据集上，ModMod 和 SupSub 方法在准确率方面优于 GrF，特别是在朴素贝叶斯假设不成立的 SVM 分类中表现更优。
• 在 Adult 数据集上，所有所提出的算法均优于贪心基线，其中 ModMod 尽管结构简单且速度快，仍表现出强劲性能。
• 理论分析证实，乘法近似不可行，但可通过最小值的多项式时间可计算下界实现加法边界。
• 结果验证了将特征选择建模为子模函数之差，相比仅假设目标函数子模性，能获得更优结果，尤其在特征相关或非模块化成本条件下。