[论文解读] Low-Rank Boolean Matrix Approximation by Integer Programming

Réka Á. Kovács, Oktay Günlük+1 more|arXiv (Cornell University)|Mar 13, 2018

Sparse and Compressive Sensing Techniques参考文献 13被引用 3

一句话总结

本文提出了首个针对低秩布尔矩阵近似问题的混合整数规划（MIP）公式，其变量和约束数量为多项式级别，从而能够对实际规模的问题实现精确求解。该方法结合整数规划、预处理与对称性削减，高效求解布尔矩阵分解，在合成数据与真实世界数据集（包括SPECT、原发性肿瘤和美国国会议员投票记录）上均实现了高质量的近似结果。

ABSTRACT

Low-rank approximations of data matrices are an important dimensionality reduction tool in machine learning and regression analysis. We consider the case of categorical variables, where it can be formulated as the problem of finding low-rank approximations to Boolean matrices. In this paper we give what is to the best of our knowledge the first integer programming formulation that relies on only polynomially many variables and constraints, we discuss how to solve it computationally and report numerical tests on synthetic and real-world data.

研究动机与目标

• 开发一种精确且计算上可行的低秩布尔矩阵近似方法，该问题为NP难问题，通常通过启发式方法求解。
• 将布尔矩阵近似问题表述为仅包含多项式数量变量和约束的混合整数规划（MIP），从而可通过商业求解器高效求解。
• 使此前仅能通过启发式近似方法求解的真实世界数据集实现精确求解。
• 在保持目标等价性的前提下，引入预处理步骤——移除全零行/列，并处理重复行/列。
• 在合成数据与真实世界数据集上，通过定量误差与运行时间评估，验证该方法的有效性。

提出的方法

• 使用布尔矩阵因子 $ C \in \{0,1\}^{n \times k} $ 和 $ R \in \{0,1\}^{k \times m} $ 的二值变量，将布尔矩阵近似问题表述为混合整数规划（MIP）。
• 定义目标函数为最小化近似误差的Frobenius范数 $ \|X - C \circ R\|_F^2 $，其中 $ \circ $ 表示布尔矩阵乘法。
• 采用多项式规模的MIP公式，避免变量与约束数量的指数级增长，从而实现对实际问题规模的可扩展性。
• 应用预处理：移除全零行与列，并通过将目标函数乘以 $ \alpha_i \beta_j $ 来处理重复行/列，其中 $ \alpha_i $ 与 $ \beta_j $ 分别为行与列的重复次数。
• 利用对称性削减与变量固定技术，提升使用CPLEX求解MIP时的计算效率。
• 在标准硬件上使用商业优化软件（CPLEX）求解MIP，对大规模实例设置2小时时间限制。

实验结果

研究问题

• RQ1 能否构建一种仅依赖多项式数量变量与约束的精确整数规划公式，用于低秩布尔矩阵近似？
• RQ2 在真实世界数据上，所提出的MIP公式与现有启发式方法相比，在解的质量与计算效率方面表现如何？
• RQ3 预处理步骤（包括移除零行/列与处理重复项）在多大程度上提升了MIP方法的可扩展性与性能？
• RQ4 与现有启发式方法相比，MIP公式是否能产生更优或更具可解释性的因子分解，特别是在线性代数秩与布尔秩不同的情况下？
• RQ5 MIP方法是否能在实际时间限制内，对真实世界的布尔矩阵近似问题求解到最优或近似最优解？

主要发现

• 所提出的MIP公式是首个仅依赖多项式数量变量与约束的公式，使低秩布尔矩阵近似在实际问题规模下可实现精确求解。
• 在布尔秩为5且含20个特征的合成数据上，引入预处理的改进公式相比完整模型显著降低了平均求解时间。
• 对于含噪声的合成数据，问题复杂度随噪声水平上升而增加，但预处理通过降低维度有效缓解了这一影响。
• 在真实世界数据集上——包括SPECT（267×22）、原发性肿瘤（339×24）和美国国会议员（435×32）——秩-5近似即使在次优解下也实现了至少80%的数据重构准确率。
• 由于次优解的存在，近似误差曲线呈现非单调性，但结果表明，最优解下误差会随秩 $ k $ 增加而递减。
• 该方法在解的质量上优于先前的启发式方法，并能提供更具可解释性的因子分解，如在国会议员投票数据集上的实验所示，布尔秩揭示了明确的投票角色。