[论文解读] Learning Mixtures of Linear Regressions with Nearly Optimal Complexity

Yuanzhi Li, Yingyu Liang|arXiv (Cornell University)|Feb 22, 2018

Machine Learning and Algorithms参考文献 17被引用 10

一句话总结

本文提出了一种在一般高斯设定下学习线性回归混合模型的固定参数可追踪算法，其中各分量可具有不同的协方差矩阵。该算法实现了近乎最优的样本复杂度 $ ilde{O}(d)$ 和计算复杂度 $ ilde{O}(Nd)$，通过一种新颖的“矩量下降法”迭代优化解，实现全局收敛，且无需假设各分量协方差相同或分布假设过强。

ABSTRACT

Mixtures of Linear Regressions (MLR) is an important mixture model with many applications. In this model, each observation is generated from one of the several unknown linear regression components, where the identity of the generated component is also unknown. Previous works either assume strong assumptions on the data distribution or have high complexity. This paper proposes a fixed parameter tractable algorithm for the problem under general conditions, which achieves global convergence and the sample complexity scales nearly linearly in the dimension. In particular, different from previous works that require the data to be from the standard Gaussian, the algorithm allows the data from Gaussians with different covariances. When the conditional number of the covariances and the number of components are fixed, the algorithm has nearly optimal sample complexity $N = ilde{O}(d)$ as well as nearly optimal computational complexity $ ilde{O}(Nd)$, where $d$ is the dimension of the data space. To the best of our knowledge, this approach provides the first such recovery guarantee for this general setting.

研究动机与目标

• 解决先前MLR算法的局限性，即要求协方差相同或对输入分布有强假设（如标准高斯分布）。
• 开发一种在一般条件下（包括各分量协方差不同）均适用的固定参数可追踪算法。
• 在高维设定下实现近乎最优的样本复杂度和计算复杂度。
• 首次在该一般设定下提供MLR的全局恢复保证，并明确依赖于关键参数 $\Delta$、$\sigma$ 和 $p_{\min}$。

提出的方法

• 提出一种新的“矩量下降法”技术，不将矩量用于一次性预热初始化，而是用于迭代引导梯度下降步骤。
• 采用平滑的对数似然目标函数 $g(v) = \mathbb{E}[\log(|\langle w - v, x \rangle| + \zeta)]$，以确保梯度估计的可微性和稳定性。
• 采用两阶段方法：首先，矩量下降识别出接近真实分量权重的方向；其次，梯度下降将估计值精炼至 $\varepsilon$-精度。
• 引入递归移除策略：在恢复某一成分的权重后，将与之一致的数据点移除，以隔离下一个成分。
• 利用负梯度与真实权重差之间的相关性，确保收敛性，其界由 $\|w_i - v^{(t)}\|_2$ 项控制。
• 采用精心调校的误差阈值 $\varepsilon_g = \left(\frac{p_{\min}\Delta}{\sigma d}\right)^{\Omega(k^2)}$，以确保在成分移除过程中误差传播最小化。

实验结果

研究问题

• RQ1 能否设计一种固定参数可追踪算法，在各分量协方差不同的通用高斯设定下，实现近乎最优的样本复杂度和计算复杂度？
• RQ2 是否可能通过基于矩量的下降法逐步解决成分间的混淆，而非依赖单次的一次性矩量初始化？
• RQ3 为确保在近乎线性复杂度下实现全局收敛，所需的最小假设集（如分离度 $\Delta$、有界协方差 $\sigma$）是什么？
• RQ4 当分量数 $k$ 较大时，该算法的性能如何随 $k$ 变化？
• RQ5 通过利用线性回归结构，该方法能否避免一般高斯混合模型中常见的 $d^2$ 样本复杂度？

主要发现

• 当 $k$、$\sigma$、$\Delta$ 和 $p_{\min}$ 固定时，该算法实现样本复杂度 $N = \tilde{O}(d)$，在维度 $d$ 上近乎最优。
• 计算复杂度为 $\tilde{O}(Nd)$，在相同固定参数假设下，对 $N$ 和 $d$ 均近乎最优。
• 该方法实现了全局收敛，且无需数据呈球对称或来自标准高斯分布。
• 该算法是首个在具有不同协方差的通用高斯分量下提供MLR恢复保证的方法。
• 采用“矩量下降法”可实现渐进式优化，避免了一次性矩量初始化带来的不稳定性。
• 误差阈值 $\varepsilon_g = \left(\frac{p_{\min}\Delta}{\sigma d}\right)^{\Omega(k^2)}$ 确保了在成分移除过程中误差累积可忽略，从而在后续步骤中保持精度。