[论文解读] Certified Algorithms: Worst-Case Analysis and Beyond

Maria-Florina Balcan, Colin White|arXiv (Cornell University)|May 19, 2017

Facility Location and Emergency Management参考文献 18被引用 4

一句话总结

本文提出了局部扰动鲁棒性（LPR），一种聚焦于单个聚类而非整个数据集的稳定性概念，并对现有近似算法进行了自然修改，使其在保持最坏情况近似保证的同时，在聚类局部稳定时返回最优解。关键贡献在于，这些算法即使仅部分数据稳定，也能输出满足 (3+ϵ)-LPR 的所有最优聚类（k-median 问题）、(9+ϵ)-LPR（k-means 问题）以及 2-LPR（k-center 问题）的聚类。

ABSTRACT

In this paper, we introduce the notion of a certified algorithm. Certified algorithms provide worst-case and beyond-worst-case performance guarantees. First, a γ-certified algorithm is also a γ-approximation algorithm - it finds a γ-approximation no matter what the input is. Second, it exactly solves γ-perturbation-resilient instances (γ-perturbation-resilient instances model real-life instances). Additionally, certified algorithms have a number of other desirable properties: they solve both maximization and minimization versions of a problem (e.g. Max Cut and Min Uncut), solve weakly perturbation-resilient instances, and solve optimization problems with hard constraints. In the paper, we define certified algorithms, describe their properties, present a framework for designing certified algorithms, provide examples of certified algorithms for Max Cut/Min Uncut, Minimum Multiway Cut, k-medians and k-means. We also present some negative results.

研究动机与目标

• 解决依赖全局稳定性假设的超越最坏情况聚类算法中缺乏最坏情况保证的问题。
• 设计自然的算法修改方式，使其在保持最坏情况近似比的同时，在局部稳定性下实现最优性。
• 定义并形式化局部扰动鲁棒性（LPR），一种适用于单个聚类而非整个数据集的稳定性概念。
• 建立在 LPR 下，即使仅部分数据稳定，算法仍能返回最优聚类，从而提升对部分不稳定的鲁棒性。
• 在 (α,ϵ)-近似稳定性下证明 APX-难，表明在无聚类大小约束时，强保证无法实现。

提出的方法

• 提出局部扰动鲁棒性（LPR），即单个最优聚类在其内部距离经过 α 倍扰动后仍保持最优。
• 修改最先进的近似算法（如 k-median/k-means 的局部搜索、k-center 的 2-近似算法），以纳入 LPR 保证。
• 采用新颖的分析框架，证明若某聚类为 k-median 的 (3+ϵ)-LPR 或 k-means 的 (9+ϵ)-LPR，则修改后的算法可精确恢复该聚类。
• 应用修改后的非对称 k-center 算法，证明其输出所有 2-SLPR（对称 LPR）聚类，并在大小约束下扩展至 (3,ϵ)-LPR。
• 通过从一般聚类实例到 (α,ϵ)-近似稳定性的归约，证明在稳定性被保证的情况下，k-center、k-median 和 k-means 仍为 APX-难。
• 利用结构引理（如引理 24）和反证法，证明多个 LPR 聚类无法同时将相同点排在高分位置，除非违反稳定性条件。

实验结果

研究问题

• RQ1 我们能否设计出在保持最坏情况近似保证的同时，当数据稳定时也能返回最优解的聚类算法？
• RQ2 我们能否定义一种适用于单个聚类而非整个数据集的稳定性概念，从而实现对最优解的部分恢复？
• RQ3 标准近似算法在自然修改后，是否能在局部扰动鲁棒性下实现最优性能？
• RQ4 为确保 LPR 保证在计算上可行且稳健，所需聚类的最小大小是多少？
• RQ5 即使稳定性条件被保证，是否仍能在 (α,ϵ)-近似稳定性下实现强近似保证？

主要发现

• 修改后的局部搜索算法可返回所有 (3+ϵ)-LPR 聚类（k-median 问题）和所有 (9+ϵ)-LPR 聚类（k-means 问题），在局部稳定性下实现最优解。
• 任何 k-center 的 2-近似算法均输出所有 2-LPR 聚类，且在最优聚类不过小的情况下，也输出所有 (3,ϵ)-LPR 聚类。
• Vishwanathan 的非对称 k-center 算法的自然修改版本可确保输出所有 2-SLPR 聚类，展示了对局部稳定性的鲁棒性。
• 本文证明了在任意 α≥1 和 ϵ>0 下，k-center、k-median 和 k-means 在 (α,ϵ)-近似稳定性下均为 APX-难，表明在无额外约束下强近似无法实现。
• 通过归约确认了定理 17 中聚类大小约束的必要性：若无此类约束，任何高效算法均无法恢复所有 (α,ϵ)-LPR 聚类。
• 定理 16 的证明表明，若存在三个或更多 (3,ϵ)-LPR 聚类，则无法对候选点建立一致排名以同时满足所有局部稳定性条件，从而确立了结构性限制。