[论文解读] Binary component decomposition Part II: The asymmetric case

Richard Kueng, Joel A. Tropp|arXiv (Cornell University)|Jul 31, 2019

Sparse and Compressive Sensing Techniques参考文献 21被引用 4

一句话总结

本文提出了一种可计算的算法，用于将低秩矩阵分解为一个二值因子（取值于{±1}或{0,1}）和一个无约束的权重矩阵，并建立了存在性、唯一性和鲁棒性的条件。主要贡献在于，提出了一种类确定性条件，使得该分解在唯一可识别且可通过凸优化计算的前提下成立，扩展了先前关于对称二值分解的研究。

ABSTRACT

This paper studies the problem of decomposing a low-rank matrix into a factor with binary entries, either from $\{\pm 1\}$ or from $\{0,1\}$, and an unconstrained factor. The research answers fundamental questions about the existence and uniqueness of these decompositions. It also leads to tractable factorization algorithms that succeed under a mild deterministic condition. This work builds on a companion paper that addresses the related problem of decomposing a low-rank positive-semidefinite matrix into symmetric binary factors.

研究动机与目标

• 建立二值分量分解的理论基础，其中一因子被约束为{±1}或{0,1}，另一因子为无约束因子。
• 解决在非对称情况下此类分解的存在性与唯一性等基本问题。
• 在较弱的类确定性条件下，开发高效且可计算的算法以实现这些分解。
• 将二值矩阵分解理论从对称、半正定设置推广至一般矩形矩阵。
• 提供对数据矩阵中严重误差的鲁棒性保证。

提出的方法

• 使用半定规划松弛非凸的二值约束，推导出凸优化形式。
• 引入渗透性ν(S)的概念，以量化二值矩阵的几何结构，并将其与算法可计算性联系起来。
• 运用随机矩阵理论和浓度不等式，分析随机二值矩阵及其与高斯向量相互作用的行为。
• 应用高斯载荷模型（GLM）对随机二值因子建模，并推导出分解性能的概率界。
• 将奇异值分解（SVD）作为低秩逼近的基线，并与二值因子分解框架进行比较。
• 利用Rademacher复杂度和经验过程理论，对二值矩阵值域上线性形式的上确界进行有界，从而实现泛化界。

实验结果

研究问题

• RQ1 在何种条件下，低秩矩阵可被唯一分解为一个二值因子和一个无约束权重矩阵？
• RQ2 此类分解能否通过凸优化技术高效计算？
• RQ3 以渗透性ν(S)量化二值因子的几何结构，如何影响分解的可识别性与稳定性？
• RQ4 该分解对观测矩阵中严重误差的鲁棒性如何？
• RQ5 该非对称二值分解与附录论文中研究的对称二值因子分解有何关系？

主要发现

• 若二值因子满足与渗透性ν(S)相关的较弱类确定性条件，则唯一二值分量分解存在，且可高效计算。
• 所提出的算法在渗透性条件下可实现精确恢复，且具有唯一性和对严重误差的鲁棒性理论保证。
• 随机符号矩阵值域上线性形式的期望上确界被有界于√n，支持了优化问题的可计算性。
• 以高概率，二值矩阵值域中单位向量与因子矩阵随机列的绝对内积超过(2/3)√(ν(S)n)，确保了恢复所需的足够信号强度。
• 渗透性ν(S)作为关键几何参数，控制分解的稳定性和可识别性，较高值可实现更鲁棒的恢复。
• 通过高斯过程和Rademacher复杂度技术推导出的理论界，确保在给定条件下算法以高概率成功。