[论文解读] Low Rank Approximation of Binary Matrices: Column Subset Selection and Generalizations

Fomin, Fedor V., Golovach, Petr A.+1 more|arXiv (Cornell University)|Nov 5, 2015

Sparse and Compressive Sensing Techniques参考文献 33被引用 5

一句话总结

本文研究了使用列子集选择（CSS）和广义CSS（GCSS）对二值矩阵进行低秩逼近，证明了在GF(2)模型和布尔模型下的逼近界。结果表明，在GF(2)模型中，CSS的逼近比为 $ k/2 + 1 + k/(2(2^k−1)) $，该界在渐近意义上是紧的；并提出了GCSS以处理布尔模型，其逼近比为 $ 2^k−1 + 1 $，且对 $ k $ 具有固有的指数依赖性。

ABSTRACT

Low rank matrix approximation is an important tool in machine learning. Given a data matrix, low rank approximation helps to find factors, patterns and provides concise representations for the data. Research on low rank approximation usually focus on real matrices. However, in many applications data are binary (categorical) rather than continuous. This leads to the problem of low rank approximation of binary matrix. Here we are given a $d imes n$ binary matrix $A$ and a small integer $k$. The goal is to find two binary matrices $U$ and $V$ of sizes $d imes k$ and $k imes n$ respectively, so that the Frobenius norm of $A - U V$ is minimized. There are two models of this problem, depending on the definition of the dot product of binary vectors: The $\mathrm{GF}(2)$ model and the Boolean semiring model. Unlike low rank approximation of real matrix which can be efficiently solved by Singular Value Decomposition, approximation of binary matrix is $NP$-hard even for $k=1$. In this paper, we consider the problem of Column Subset Selection (CSS), in which one low rank matrix must be formed by $k$ columns of the data matrix. We characterize the approximation ratio of CSS for binary matrices. For $GF(2)$ model, we show the approximation ratio of CSS is bounded by $\frac{k}{2}+1+\frac{k}{2(2^k-1)}$ and this bound is asymptotically tight. For Boolean model, it turns out that CSS is no longer sufficient to obtain a bound. We then develop a Generalized CSS (GCSS) procedure in which the columns of one low rank matrix are generated from Boolean formulas operating bitwise on columns of the data matrix. We show the approximation ratio of GCSS is bounded by $2^{k-1}+1$, and the exponential dependency on $k$ is inherent.

研究动机与目标

• 为填补二值矩阵低秩逼近的理论空白，该问题即使在 $ k=1 $ 时也是NP难的。
• 分析列子集选择（CSS）在两种模型下对二值矩阵的逼近性能：GF(2)模型和布尔半环模型。
• 提出广义CSS（GCSS）框架，利用列的按位布尔公式来改进布尔模型中的逼近效果。
• 为两种模型建立紧的逼近比，表明布尔模型中存在固有的指数复杂度。

提出的方法

• 提出列子集选择（CSS）作为仅使用原始二值矩阵 $ A $ 中 $ k $ 列来形成低秩逼近的方法。
• 分析GF(2)模型，其中矩阵乘积在有限域GF(2)上定义，点积为元素乘积的异或和。
• 为布尔模型引入广义CSS（GCSS），其中矩阵乘积使用逻辑与（AND）和或（OR）运算，允许列的布尔组合。
• 使用组合与代数技术推导逼近界，包括集合覆盖和矩阵分解论证。
• 通过将残差误差递归分解为误差集 $ E_{\ell,i} $ 和 $ F_{\ell_1,\ell_2,i} $ 来界定逼近比。
• 利用Hadamard矩阵和张量积构造证明硬性与逼近下界，将{−1,1}设置下的技术适配至{0,1}设置。

实验结果

研究问题

• RQ1 在GF(2)模型中，列子集选择（CSS）对二值矩阵低秩逼近的最优逼近比是多少？
• RQ2 在布尔模型中，CSS本身能否实现常数或多项式逼近比，还是需要更通用的框架？
• RQ3 布尔模型中低秩逼近的固有复杂度是多少，是否需要对 $ k $ 的指数依赖？
• RQ4 GCSS的逼近比是否紧致，是否捕捉了二值低秩逼近的根本极限？
• RQ5 能否将精确二值低秩逼近的难解性归约为已知的难问题，如最大双二次型问题？

主要发现

• 在GF(2)模型中，CSS的逼近比被限制在 $ k/2 + 1 + k/(2(2^k−1)) $，且当 $ k $ 增大时该界是渐近紧致的。
• 在布尔模型中，标准CSS无法实现有界的逼近比；必须采用广义方法。
• 所提出的广义CSS（GCSS）在布尔模型中实现了 $ 2^k−1 + 1 $ 的逼近比，且对 $ k $ 的指数依赖是固有的。
• 本文证明了即使在 $ k=1 $ 时，二值矩阵的精确低秩逼近也是NP难的，确认了该问题的计算不可解性。
• 建立了从最大双二次型问题到二值低秩逼近的归约，表明该问题的难解性是根本性的，无法避免。