[论文解读] Convex programming approach to robust estimation of a multivariate Gaussian model

Samuel Balmand, Arnak S. Dalalyan|arXiv (Cornell University)|Dec 15, 2015

Advanced Statistical Methods and Models参考文献 27被引用 5

一句话总结

本文提出了一种基于凸优化的估计器，用于在存在对抗性异常值的情况下鲁棒地估计多元正态分布的均值和协方差矩阵。通过最小化带有通用调参参数的惩罚型平方根最小二乘损失，该方法在进入元素的 ℓ₁、Frobenius 以及混合 ℓ₂/ℓ₁ 范数下均实现了最优速率估计，即使在变量数超过样本量且满足稀疏性假设的情况下亦成立。

ABSTRACT

Multivariate Gaussian is often used as a first approximation to the distribution of high-dimensional data. Determining the parameters of this distribution under various constraints is a widely studied problem in statistics, and is often considered as a prototype for testing new algorithms or theoretical frameworks. In this paper, we develop a nonasymptotic approach to the problem of estimating the parameters of a multivariate Gaussian distribution when data are corrupted by outliers. We propose an estimator---efficiently computable by solving a convex program---that robustly estimates the population mean and the population covariance matrix even when the sample contains a significant proportion of outliers. Our estimator of the corruption matrix is provably rate optimal simultaneously for the entry-wise $\ell_1$-norm, the Frobenius norm and the mixed $\ell_2/\ell_1$ norm. Furthermore, this optimality is achieved by a penalized square-root-of-least-squares method with a universal tuning parameter (calibrating the strength of the penalization). These results are partly extended to the case where $p$ is potentially larger than $n$, under the additional condition that the inverse covariance matrix is sparse.

研究动机与目标

• 开发一种非渐近的、鲁棒的估计器，用于在数据包含显著比例异常值时估计多元正态分布参数。
• 在多种矩阵范数（ℓ₁、Frobenius 和混合 ℓ₂/ℓ₁）下实现均值和协方差矩阵的最优速率估计。
• 在逆协方差矩阵满足稀疏性约束的前提下，将该方法扩展至高维设定（p > n）。
• 通过凸优化和通用调参，为估计器的性能提供理论保证。
• 通过结合数据保真项与稀疏性促进惩罚项，克服现有鲁棒估计器的局限性。

提出的方法

• 该估计器被定义为一个凸代价函数的最小化器，该函数结合了残差矩阵的混合 ℓ₂/ℓ₁ 范数与惩罚型平方根最小二乘项。
• 数据保真项使用残差矩阵的混合 ℓ₂/ℓ₁ 范数来度量与观测数据的偏离程度。
• 对建模异常值的扰动矩阵施加稀疏性促进惩罚，以鼓励稀疏的异常值模式。
• 惩罚项与扰动矩阵的混合 ℓ₂/ℓ₁ 范数成正比，从而实现对高维异常值的鲁棒性。
• 在高维情形（p > n）下，对逆协方差矩阵额外施加加权 ℓ₁ 惩罚，以强制实现稀疏性。
• 该方法使用一个通用调参参数来校准惩罚强度，避免了交叉验证。

实验结果

研究问题

• RQ1 凸优化框架是否能在一般范数损失下实现多元正态分布参数的最优速率鲁棒估计？
• RQ2 当变量数 p 超过样本量 n 时，所提出的估计器表现如何？
• RQ3 使用通用调参参数是否足以在无需数据依赖校准的情况下实现最优速率？
• RQ4 在高维稀疏性假设下，估计器的理论性能保证是什么？
• RQ5 该方法是否能同时在多个矩阵范数（ℓ₁、Frobenius、ℓ₂/ℓ₁）下实现最优误差率？

主要发现

• 所提出的估计器在扰动矩阵的逐元素 ℓ₁ 范数、Frobenius 范数以及混合 ℓ₂/ℓ₁ 范数下均实现了最优误差界。
• 通过使用带有通用调参参数的惩罚型平方根最小二乘法实现最优性，从而消除了对数据驱动校准的需求。
• 在高维设定下（p > n），在逆协方差矩阵为稀疏的假设下，该方法保持了理论有效性。
• 在经验协方差矩阵满足受限特征值条件的假设下，建立了理论风险界，但该事件发生的概率尚未被刻画。
• 实验结果表明，该方法在性能上与最先进的鲁棒估计器相当，尤其在异常值污染程度较高（高达30%）时表现更优。
• 在识别出异常值后重新估计精度矩阵可进一步降低估计误差，表明两阶段优化可提升性能。