[论文解读] A Non-generative Framework and Convex Relaxations for Unsupervised Learning

Elad Hazan, Tengyu Ma|arXiv (Cornell University)|Oct 4, 2016

Machine Learning and Algorithms被引用 11

一句话总结

本文提出了一种非生成式、对比性的无监督学习框架，避免了概率假设，转而使用凸松弛法以实现高效、非正规学习。该框架引入了平方和（sum-of-squares）凸松弛法，为字典学习和谱自编码器实现了多项式时间算法，突破了以往工作的限制，能够处理过完备字典和代数流形，并提供可证明的保证。

ABSTRACT

We give a novel formal theoretical framework for unsupervised learning with two distinctive characteristics. First, it does not assume any generative model and based on a worst-case performance metric. Second, it is comparative, namely performance is measured with respect to a given hypothesis class. This allows to avoid known computational hardness results and improper algorithms based on convex relaxations. We show how several families of unsupervised learning models, which were previously only analyzed under probabilistic assumptions and are otherwise provably intractable, can be efficiently learned in our framework by convex optimization.

研究动机与目标

• 为解决无监督学习缺乏一般性理论框架的问题，该框架避免了强生成假设。
• 通过引入一种对比性、依赖分布的学习模型，克服无监督学习中的计算困难。
• 利用凸优化技术，为学习复杂假设类（如字典和谱自编码器）开发高效、多项式时间的算法。
• 将现有模型（如PCA和核PCA）推广至更广义的谱编码类，以学习代数流形。
• 证明在最坏情况性能度量下，凸松弛法（特别是平方和方法）可在无分布假设条件下实现可证明的高效学习。

提出的方法

• 提出一种非生成式、对比性学习框架，性能在最坏分布下相对于假设类进行衡量。
• 引入一种新型假设类——‘谱自编码器’，其推广了PCA和核PCA，可建模代数流形。
• 采用平方和（SOS）凸松弛法作为核心优化技术，以实现字典模型的高效学习。
• 设计一种基于随机投影和辅助矩阵的编码/解码算法，以最小化ℓ1范数下的重建误差。
• 在编码过程中引入去噪步骤，以提高鲁棒性并降低重建信号中的噪声。
• 应用SRW（随机受限宽度）界来控制估计编码与真实编码之间的误差，确保收敛至最优解。

实验结果

研究问题

• RQ1 无监督学习能否在不依赖生成模型或概率假设的前提下进行形式化？
• RQ2 凸松弛法是否可用于实现字典和PCA扩展等无监督模型的高效、非正规学习？
• RQ3 该框架能否处理超过常数倍过完备性的字典，超越以往研究中仅限于常数过完备性的限制？
• RQ4 谱自编码器能否学习传统谱模型无法捕捉的代数流形？
• RQ5 在非生成式、对比性学习设置下，是否可通过凸优化实现可证明的重建误差界？

主要发现

• 所提出的框架可在无生成假设下实现字典模型的高效、非正规学习，其适用范围超越了以往要求常数过完备性的研究。
• 该算法的重建误差最多为 $ O(\varepsilon^{\bullet} + \nu) $，其中 $ \nu $ 为凸松弛带来的误差，且 $ \nu = O(k^2 r^{2/p} d^{-1} / \nu^2 \times \log d) $，高概率成立。
• 编码长度为 $ \tilde{O}(k^2 r^{2/p} / \nu^2) $，在相关参数下为多项式时间，且在有利条件下与数据维度无关。
• 该框架将PCA和核PCA推广至更广泛的谱自编码器类别，可建模代数流形。
• 使用平方和凸松弛法，首次在非生成式设置下实现了字典学习的可证明高效性。
• 理论分析表明，解码误差以 $ \varepsilon^{\bullet} + \delta $ 为上界，其中 $ \varepsilon^{\bullet} $ 为最优重建误差，$ \delta $ 为松弛误差，且高概率成立。