[论文解读] A Unified Framework of Constrained Robust Submodular Optimization with Applications

Rishabh Iyer|arXiv (Cornell University)|Jun 14, 2019

Complexity and Algorithms in Graphs参考文献 68被引用 4

一句话总结

本文提出了一套统一的框架，用于处理在多种组合约束（包括基数、背包、拟阵和图基约束）下的约束鲁棒子模优化，涵盖最小化与最大化问题，并引入了如Robust-Scsc和Robust-Scsk等新问题。该框架提出了可扩展的近似算法，包括一种主要化-最小化方法，并在图像对应、数据子集选择和多查询图像摘要等实际应用中展现出优于基线方法的性能。

ABSTRACT

Robust optimization is becoming increasingly important in machine learning applications. In this paper, we study a unified framework of robust submodular optimization. We study this problem both from a minimization and maximization perspective (previous work has only focused on variants of robust submodular maximization). We do this under a broad range of combinatorial constraints including cardinality, knapsack, matroid as well as graph-based constraints such as cuts, paths, matchings and trees. Furthermore, we also study robust submodular minimization and maximization under multiple submodular upper and lower bound constraints. We show that all these problems are motivated by important machine learning applications including robust data subset selection, robust co-operative cuts and robust co-operative matchings. In each case, we provide scalable approximation algorithms and also study hardness bounds. Finally, we empirically demonstrate the utility of our algorithms on synthetic data, and real-world applications of robust cooperative matchings for image correspondence, robust data subset selection for speech recognition, and image collection summarization with multiple queries.

研究动机与目标

• 开发一个全面的理论与算法框架，用于在多种组合约束下实现鲁棒子模优化。
• 通过引入并研究鲁棒子模最小化以及上下界约束下的联合优化，扩展先前关于鲁棒子模最大化的成果。
• 解决实际机器学习挑战，如鲁棒数据子集选择、图像对应匹配和多查询图像集合摘要。
• 提供具有理论保证的近似算法，并在合成与真实世界数据集上进行实证评估。
• 通过曲率分析与可扩展算法，缩小理论下界与可实现近似比之间的差距。

提出的方法

• 提出四个核心问题：Robust-SubMin、Robust-SubMax、Robust-Scsc（在子模下界约束下最小化最大目标）和Robust-Scsk（在子模上界约束下最大化最小目标）。
• 引入主要化-最小化（MM）算法以实现可扩展优化，利用代理函数迭代改进解。
• 采用统一的公式化方法，将鲁棒优化建模为在组合约束下对多个子模函数的最坏情况目标进行最小化。
• 利用预训练模型（YOLOv3和ResNet50）的特征表示，对图像进行编码，以支持摘要任务中的子模函数评估。
• 将MM算法应用于求解Robust-Scsc与Robust-Scsk问题，在子模与模约束下提供收敛性与近似保证。
• 采用最小-最大查询相关性作为评估指标，将所提框架与基线方法（如平均近似法(Avg-Scsc)和并集方法(Union-Scsc)）进行比较。

实验结果

研究问题

• RQ1 能否构建一个统一框架，以同时处理在多种组合约束下的鲁棒子模最小化与最大化问题？
• RQ2 多个子模上界与下界约束如何影响鲁棒子模优化的设计与近似保证？
• RQ3 与更复杂的方法（如椭球近似）相比，主要化-最小化等可扩展算法的性能如何？
• RQ4 在实际应用（如图像对应与多查询摘要）中，鲁棒公式是否优于非鲁棒的、基于平均值的方法？
• RQ5 鲁棒子模优化中，理论下界与可实现近似比之间的理论差距是什么？曲率相关边界如何改善这一差距？

主要发现

• 所提出的MM算法在性能上可与更复杂的椭球近似方法相媲美，同时在可扩展性方面显著更优。
• Robust-Scsc在所有查询中均表现出更均衡的相关性，其最小查询相关性值更高，因此始终优于Avg-Scsc与Union-Scsc基线方法。
• 在多查询图像集合摘要任务中，鲁棒公式确保了所有查询概念的公平表示，而并集或平均方法则无法实现这一点。
• 该框架成功推广至实际应用场景：用于图像对应的鲁棒协同匹配、用于语音识别的鲁棒数据子集选择，以及多查询图像摘要。
• 实证结果表明，鲁棒公式能带来更稳定且公平的解，尤其在数据或特征表示存在扰动时表现更优。
• 理论分析证实，所提算法在各类约束类型（包括基数、背包、拟阵和图基约束）下均提供近似保证。