[论文解读] Jointly Clustering Rows and Columns of Binary Matrices: Algorithms and Trade-offs

Jiaming Xu, Rui Wu+4 more|arXiv (Cornell University)|Oct 1, 2013

Sparse and Compressive Sensing Techniques参考文献 26被引用 5

一句话总结

本文提出了三种算法——组合型、凸型和谱型——用于从噪声且部分观测的二值矩阵中联合恢复行和列聚类。该研究建立了平滑的时间-数据权衡关系，表明随着观测数据增多，可使用更简单的算法在保持精确聚类恢复的同时，具备理论保证的样本复杂度和计算效率，其模型基于存在噪声和缺失值的随机块模型。

ABSTRACT

In standard clustering problems, data points are represented by vectors, and by stacking them together, one forms a data matrix with row or column cluster structure. In this paper, we consider a class of binary matrices, arising in many applications, which exhibit both row and column cluster structure, and our goal is to exactly recover the underlying row and column clusters by observing only a small fraction of noisy entries. We first derive a lower bound on the minimum number of observations needed for exact cluster recovery. Then, we propose three algorithms with different running time and compare the number of observations needed by them for successful cluster recovery. Our analytical results show smooth time-data trade-offs: one can gradually reduce the computational complexity when increasingly more observations are available.

研究动机与目标

• 理解在存在噪声和缺失条目时，精确恢复二值矩阵中行与列聚类的根本极限。
• 开发计算复杂度各异的算法，在不同观测条件下实现精确聚类恢复。
• 建立平滑的时间-数据权衡关系，即随着观测数据增加，可在不损失恢复性能的前提下降低计算成本。
• 为三种不同算法（组合型、凸型（核范数最小化）、谱聚类联合清理）提供理论性能保证。
• 通过在受控噪声和缺失模型下的合成数据模拟，验证理论结果。

提出的方法

• 问题建模为随机块模型，其中用户和项目形成大小相等的聚类，评分值为+1（喜欢）或-1（不喜欢），并以固定概率（小于1/2）独立翻转。
• 组合型方法通过穷举搜索所有可能的行与列聚类配置，执行最大似然估计，在无噪声情况下实现最优统计性能。
• 凸型方法将聚类恢复建模为核范数正则化的矩阵补全问题，使用交替方向乘子法（ADMM）求解，实现多项式时间计算。
• 谱型方法分别对行和列应用谱聚类，基于观测矩阵，随后通过联合清理步骤解决标签不匹配问题。
• 所有算法均在聚类规模 $ K = n^\beta $ 和缺失概率 $ \epsilon = 1 - n^{-\alpha} $ 的模型下评估，性能以精确恢复阈值为指标进行分析。
• 模拟通过合成数据验证理论边界，使用 $ n = 2048 $（凸型）和 $ n = 1000 $（谱型）的参数，以正确标记条目比例和聚类误差衡量恢复效果。

实验结果

研究问题

• RQ1 在存在噪声和部分观测的二值矩阵中，精确恢复底层行与列聚类所需的最少观测条目数是多少？
• RQ2 随着观测数量增加，不同聚类算法在计算复杂度与统计性能之间的权衡如何变化？
• RQ3 在存在噪声和缺失值的随机块模型下，谱聚类能否被严格保证实现精确聚类恢复？
• RQ4 在存在噪声和缺失数据的情况下，核范数最小化在何种条件下能恢复真实的低秩二值矩阵结构？
• RQ5 理论恢复阈值与在不同聚类规模和缺失概率下的模拟性能相比如何？

主要发现

• 推导出精确聚类恢复所需最小观测数的下界，确立了依赖于矩阵规模和聚类规模的根本极限。
• 在无噪声设定下，组合型方法在最少观测数下实现精确恢复，但其时间复杂度为指数级，对大规模矩阵不切实际。
• 凸型方法基于核范数最小化，在 $ \alpha < \beta $ 条件下可实现精确恢复，其中 $ K = n^\beta $ 且 $ \epsilon = 1 - n^{-\alpha} $，该结论基于矩阵恢复的猜想。
• 谱型方法在 $ \alpha < \frac{1}{2}(\beta + 1) $ 条件下实现精确恢复，模拟结果表明其性能略优于理论预测。
• 模拟结果验证了理论的时间-数据权衡：随着 $ \alpha $ 增大（即观测数据增多），可使用更简单的算法（如谱聚类）而无需牺牲恢复精度。
• 在恢复所需观测数方面，凸型方法优于谱型方法；而组合型方法在无噪声情况下为最优，但对大规模问题不可行。