[论文解读] Sample Complexity of Learning Mixture of Sparse Linear Regressions

Akshay Krishnamurthy, Arya Mazumdar+2 more|arXiv (Cornell University)|Oct 1, 2019

Sparse and Compressive Sensing Techniques被引用 9

一句话总结

该论文通过引入一种鲁棒算法，显著提升了学习稀疏线性回归混合模型的样本复杂度，该算法可处理超过两个信号以及非完全稀疏信号的噪声环境。通过建立稀疏多项式性质与高斯混合学习之间的新联系，消除了先前工作中存在的限制性假设，实现了对一般稀疏混合模型的首个可证明鲁棒重构。

ABSTRACT

In the problem of learning mixtures of linear regressions, the goal is to learn a col-lection of signal vectors from a sequence of (possibly noisy) linear measurements,where each measurement is evaluated on an unknown signal drawn uniformly fromthis collection. This setting is quite expressive and has been studied both in termsof practical applications and for the sake of establishing theoretical guarantees. Inthis paper, we consider the case where the signal vectors aresparse; this generalizesthe popular compressed sensing paradigm. We improve upon the state-of-the-artresults as follows: In the noisy case, we resolve an open question of Yin et al. (IEEETransactions on Information Theory, 2019) by showing how to handle collectionsof more than two vectors and present the first robust reconstruction algorithm, i.e.,if the signals are not perfectly sparse, we still learn a good sparse approximationof the signals. In the noiseless case, as well as in the noisy case, we show how tocircumvent the need for a restrictive assumption required in the previous work. Ourtechniques are quite different from those in the previous work: for the noiselesscase, we rely on a property of sparse polynomials and for the noisy case, we providenew connections to learning Gaussian mixtures and use ideas from the theory of

研究动机与目标

• 解决在噪声环境下学习多于两个稀疏线性回归混合模型的开放问题。
• 设计一种鲁棒重构算法，能够容忍非完美稀疏性与测量噪声。
• 消除先前工作中为混合恢复所必需的限制性假设。
• 为无噪声与有噪声两种情形建立更紧致的样本复杂度边界。

提出的方法

• 利用稀疏多项式的结构特性，在无噪声情况下恢复信号。
• 提出稀疏线性回归混合模型与高斯混合学习之间的新联系，以应对噪声。
• 采用适配于稀疏信号结构的矩估计技术。
• 设计一种多项式时间算法，即使在信号非完全稀疏时也能恢复稀疏信号。
• 应用谱方法与代数方法以分离混合的线性测量。
• 提出一种凸松弛方法，以在噪声条件下用稀疏信号近似非稀疏信号。

实验结果

研究问题

• RQ1 当涉及多于两个信号时，能否改进学习稀疏线性回归混合模型的样本复杂度？
• RQ2 能否设计一种鲁棒算法，在信号非完全稀疏且测量存在噪声时，仍能恢复良好的稀疏近似？
• RQ3 能否在不牺牲样本复杂度保证的前提下，去除先前工作中所需的限制性假设？
• RQ4 稀疏多项式性质如何在无噪声设定下实现精确恢复？
• RQ5 学习稀疏混合模型与学习高斯混合模型之间存在何种联系，可被用于提升噪声鲁棒性？

主要发现

• 该论文解决了Yin等人提出的关于在噪声情况下学习多于两个稀疏线性回归混合模型的样本复杂度的开放问题。
• 提出了首个可证明鲁棒的重构算法，即使在信号非完全稀疏时，也能保证恢复出良好的稀疏近似。
• 该方法消除了先前工作中的一项限制性假设，使算法可适用于更广泛的稀疏混合模型类别。
• 在无噪声情况下，该方法利用稀疏多项式性质实现了精确恢复。
• 在有噪声情况下，该框架建立了与高斯混合学习的新理论联系，从而实现了更强的鲁棒性。
• 所提出的算法在无噪声与有噪声两种情形下均实现了可证明的低样本复杂度，其通用性与鲁棒性优于先前方法。