[论文解读] Matrix factorization with Binary Components

Martin Slawski, Matthias Hein+1 more|arXiv (Cornell University)|Jan 23, 2014

Error Correcting Code Techniques参考文献 23被引用 12

一句话总结

该论文提出了一种可证明正确的算法，用于在左因子 $T \in \{0,1\}^{m \times r}$ 中具有二值分量的低秩矩阵分解，利用组合几何和 Littlewood-Offord 引理，在 $O(mr2^r + mnr + r^2n)$ 时间内实现精确分解。该方法在可分离性或随机 $T$ 条件下确保精确恢复，并且在数据规模 $m$ 和 $n$ 上呈线性扩展，尽管仅对秩 $r$ 存在指数依赖。

ABSTRACT

Motivated by an application in computational biology, we consider low-rank matrix factorization with $\{0,1\}$-constraints on one of the factors and optionally convex constraints on the second one. In addition to the non-convexity shared with other matrix factorization schemes, our problem is further complicated by a combinatorial constraint set of size $2^{m \cdot r}$, where $m$ is the dimension of the data points and $r$ the rank of the factorization. Despite apparent intractability, we provide - in the line of recent work on non-negative matrix factorization by Arora et al. (2012) - an algorithm that provably recovers the underlying factorization in the exact case with $O(m r 2^r + mnr + r^2 n)$ operations for $n$ datapoints. To obtain this result, we use theory around the Littlewood-Offord lemma from combinatorics.

研究动机与目标

• 解决在因子之一存在二值约束下的精确低秩矩阵分解挑战，该问题因非凸性及 $2^{m \cdot r}$ 种可能的二值矩阵导致的组合爆炸而变得复杂。
• 在可分离性或随机 $T$ 假设下，为因子分解 $D = TA$（其中 $T \in \{0,1\}^{m \times r}$ 且 $A \in \mathbb{R}^{r \times n}$）提供理论保证的精确恢复。
• 开发一种在数据维度 $m$ 和 $n$ 上呈线性扩展的算法，仅对秩 $r$ 存在指数依赖，使其在 $r$ 较小时对大规模 $m$ 仍具可行性。
• 将该方法扩展至近似情形 $D \approx TA$，并展示其在性能上优于启发式方法。
• 在可分离性或随机 $T$ 模型下建立精确分解的唯一性，从而支持对 $A$ 的非负性等额外约束的扩展。

提出的方法

• 利用二值分量仿射包的几何洞察识别有效分解，利用在可分离性下仅有 $r$ 个超立方体 $[0,1]^m$ 的顶点位于 $\text{aff}(T)$ 中的事实。
• 应用组合学中的 Littlewood-Offord 引理，以界定随机向量位于 $T$ 的仿射包与超立方体顶点交集中的概率，从而在随机 $T$ 条件下确保恢复。
• 构建一个凸优化框架，通过线性规划恢复 $A$，当 $T$ 已知时，利用约束 $A^T \mathbf{1}_r = \mathbf{1}_n$ 确保仿射组合。
• 提出一种两阶段算法：首先通过识别 $\text{aff}(T)$ 中的 $[0,1]^m$ 的顶点来恢复 $T$，然后通过最小二乘法或线性规划求解 $A$。
• 通过最小化 $\|TA - D\|_F$ 并满足 $T \in \{0,1\}^{m \times r}$ 和 $A^T \mathbf{1}_r = \mathbf{1}_n$ 的约束，处理近似情形，采用贪心或迭代优化策略。
• 利用随机矩阵理论证明，当 $T$ 从参数 $p \in (0,1)$ 且远离 0 或 1 的伯努利分布独立同分布抽取时，$T$ 的仿射包与 $\{-1,1\}^m$ 的交集几乎必然仅包含 $\pm T_{:,k}$，从而实现恢复。

实验结果

研究问题

• RQ1 尽管存在 $2^{m \cdot r}$ 种可能的 $T$ 矩阵导致的组合爆炸，能否在多项式时间内实现具有二值分量的精确矩阵分解？
• RQ2 在何种条件下，二值矩阵分解 $D = TA$ 是唯一的？这些条件能否被算法有效利用？
• RQ3 能否利用组合学中的 Littlewood-Offord 引理，为随机生成 $T$ 时的精确恢复建立概率保证？
• RQ4 所提出的算法在数据规模 $m$ 和 $n$ 上的扩展性如何？当 $r$ 较小时，它是否仍对大规模 $m$ 保持可行性？
• RQ5 在 $D \approx TA$ 的近似分解设置中，该算法是否优于启发式方法？

主要发现

• 当分解存在且满足可分离性条件时，该算法在 $O(mr2^r + mnr + r^2n)$ 次操作内可证明精确恢复分解 $D = TA$。
• 对于从参数 $p \in (0.01, 0.99)$ 的伯努利分布中独立同分布抽取的 $T$，实验表明 $\text{aff}(T) \cap \{-1,1\}^m$ 在 100% 的试验中恰好包含 $r$ 个顶点，意味着高概率下的唯一性与可恢复性。
• 在合成实验中，所提方法在 $T0.5, A_{\text{dense}}$ 设置下（此时数据点接近重心）相比 HOTTOPIXX 实现了显著更低的重建误差 $\|TA - D\|_F$。
• 即使在 $A$ 被约束为非负且有界的情况下，该方法依然有效，因为唯一性与恢复保证在相同条件下可推广至此类情形。
• 该算法在 $m$ 和 $n$ 上呈线性扩展，仅对 $r$ 存在指数依赖，因此在 $r$ 较小时对大规模数据具有实际可行性。
• 在 DNA 甲基化数据上的实证结果证实了该方法在解混生物特征方面的实际效用，优于启发式替代方法。