[论文解读] Clustering using Max-norm Constrained Optimization

Ali Jalali, Nathan Srebro|arXiv (Cornell University)|Feb 25, 2012

Sparse and Compressive Sensing Techniques参考文献 24被引用 25

一句话总结

本文提出了一种最大范数约束优化框架用于相关性聚类，相较于核范数方法提供了更紧致的凸松弛。在更严格的噪声条件下实现了真实聚类的精确恢复，并通过单链路后处理步骤提升性能，在合成数据和真实世界数据上优于迹范数和谱聚类方法。

ABSTRACT

We suggest using the max-norm as a convex surrogate constraint for clustering. We show how this yields a better exact cluster recovery guarantee than previously suggested nuclear-norm relaxation, and study the effectiveness of our method, and other related convex relaxations, compared to other clustering approaches.

研究动机与目标

• 通过用更紧致的最大范数约束替代核范数松弛，改进相关性聚类中的精确聚类恢复保证。
• 开发一种凸优化框架，更好地逼近非凸聚类问题，同时保持计算可处理性。
• 在未实现精确恢复时，通过单链路后处理步骤提升聚类性能。
• 在合成数据和真实世界数据集上，将所提方法与现有方法（包括迹范数松弛和谱聚类）进行对比评估。

提出的方法

• 将相关性聚类问题表述为在聚类矩阵上施加最大范数约束下的ℓ₁损失最小化问题。
• 使用最大范数（γ₂: ℓ₁ → ℓ∞）作为比核范数更紧致的凸松弛，提升恢复保证。
• 基于因子分解K = RRᵀ（R ≥ 0且‖R‖∞,₂ ≤ 1）提出更紧致的松弛，对应完全正定矩阵集合。
• 通过在R上交替最小化求解非凸优化问题，随后在恢复的矩阵上执行单链路聚类。
• 将单链路算法应用于输出矩阵作为舍入方案，以恢复有效的聚类结构。
• 从SLINK层次结构中选择最佳聚类，依据其与原始亲和矩阵A的ℓ₁距离。

实验结果

研究问题

• RQ1 最大范数能否在相关性聚类中提供比核范数更优的凸松弛，以实现精确聚类恢复？
• RQ2 在不同噪声水平下，所提出的最大范数约束优化方法与迹范数和谱聚类相比表现如何？
• RQ3 当精确恢复未实现时，单链路后处理在多大程度上提升了聚类准确率？
• RQ4 基于完全正定矩阵的更紧致凸松弛是否在真实世界数据（如MNIST）上带来更好的实际性能？

主要发现

• 最大范数约束优化相比核范数松弛提供了更严格的精确恢复保证，所需噪声界限更宽松。
• 在平衡与非平衡的合成聚类中，所提方法在聚类误差方面优于迹范数方法和谱聚类。
• 即使在高噪声水平下精确恢复失败，最大范数方法仍能保持聚类结果与真实聚类的接近程度，以变差信息量衡量。
• 在MNIST数据集上，最大范数方法相比迹范数和谱聚类（搭配k-means后处理）实现了更低的聚类误差和更优的时间复杂度。
• 单链路后处理步骤显著提升了恢复质量，通过修正松弛优化产生的非整数和非聚类结构化输出。