[论文解读] Learning GMMs with Nearly Optimal Robustness Guarantees

Allen Liu, Ankur Moitra|arXiv (Cornell University)|Apr 19, 2021

Machine Learning and Algorithms参考文献 35被引用 4

一句话总结

本论文提出了一种计算高效的算法，用于从 $\epsilon$-污染数据中鲁棒地学习具有 $k$ 个分量的高维高斯混合模型（GMM），实现 $\widetilde{O}(\epsilon)$ 的总变差误差——在对数因子范围内近乎最优。关键创新在于提出了一种名为“强可观测性”的新框架，该框架通过使用测量结果能唯一且鲁棒地识别完整混合分布的测试函数，绕过了对单个分量进行学习的需求。

ABSTRACT

In this work we solve the problem of robustly learning a high-dimensional Gaussian mixture model with $k$ components from $ε$-corrupted samples up to accuracy $\widetilde{O}(ε)$ in total variation distance for any constant $k$ and with mild assumptions on the mixture. This robustness guarantee is optimal up to polylogarithmic factors. The main challenge is that most earlier works rely on learning individual components in the mixture, but this is impossible in our setting, at least for the types of strong robustness guarantees we are aiming for. Instead we introduce a new framework which we call {\em strong observability} that gives us a route to circumvent this obstacle.

研究动机与目标

• 在对抗性污染下，实现高维高斯混合模型学习的近乎最优鲁棒性保证。
• 克服在强鲁棒性约束下分量学习不可行的根本限制。
• 开发一种新算法框架，实现在无需恢复单个分量的前提下进行鲁棒密度估计。
• 证明在温和假设下，对任意常数 $k$，$\widetilde{O}(\epsilon)$ 的总变差误差是可实现的。
• 提供一种计算高效的解决方案，具有与维度无关的鲁棒性保证，优于先前的 $\epsilon^{\Omega_k(1)}$ 误差界。

提出的方法

• 引入“强可观测性”概念——一种分布族由一组测试函数的测量结果唯一确定的框架。
• 使用其差异界可控制总变差距离（至多多对数因子）的测试函数，从而实现鲁棒估计。
• 对首个分量的初始估计应用线性变换以将其归一化，将问题转化为正则化形式。
• 基于变换空间中分量的接近程度进行聚类，并对每个连通分量应用鲁棒学习算法。
• 为每个子混合构造候选密度函数，并使用假设检验从候选列表中选择最佳近似。
• 利用先前工作中提出的假设检验引理，以高概率识别出与真实混合分布总变差距离在 $O(\epsilon)$ 以内的候选函数。

实验结果

研究问题

• RQ1 在 $\epsilon$-污染下，对于任意常数 $k$，能否在学习 $k$-分量 GMM 时实现 $\widetilde{O}(\epsilon)$ 的总变差误差？
• RQ2 是否可能设计一种鲁棒学习算法，无需学习单个分量，尤其是在此类恢复在信息论上不可能时？
• RQ3 能否构建一个确保与维度无关的鲁棒性保证，同时保持计算效率的框架？
• RQ4 如何确保测试函数测量结果在高维混合中能作为总变差距离的准确代理？
• RQ5 即使分量级学习失败，能否在 GMM 的非正确密度估计中实现近乎最优的鲁棒性？

主要发现

• 所提算法在从 $\epsilon$-污染样本中学习 $k$-分量 GMM 时，实现了 $\widetilde{O}(\epsilon)$ 的总变差误差，其在多对数因子范围内为最优。
• 强可观测性框架使得无需分量级估计即可实现鲁棒学习，从而绕过了先前工作中的一大障碍。
• 该算法运行时间在样本数量和 $1/\epsilon$ 上为多项式时间，候选假设的数量被限制为 $ (1/\epsilon)^{O_{k,A}(1)} $。
• 假设检验步骤确保以高概率，候选函数中至少有一个与真实混合分布的总变差距离在 $O(\epsilon)$ 以内。
• 该方法依赖于将混合分布转化为已知鲁棒学习技术可应用的正则化形式，随后进行逆变换和权重估计。
• 最终输出的密度函数在 $L^1$-范数下与真实 GMM 的近似误差为 $ (2 + \log 1/\epsilon + \chi)^{O_{k,A}(1)} \epsilon $，在给定假设下等价于 $\widetilde{O}(\epsilon)$ 的误差。