[论文解读] Learning Entangled Single-Sample Distributions via Iterative Trimming

Hui Yuan, Yingyu Liang|arXiv (Cornell University)|Apr 20, 2020

Machine Learning and Algorithms被引用 4

一句话总结

本文提出了一种用于估计纠缠单样本分布中公共参数的迭代修剪方法——其中 $ n $ 个独立样本各自来自不同的分布，但共享一个公共参数。该方法在对数迭代次数内修剪噪声点，使得估计误差仅依赖于第 $ \lceil \alpha n \rceil $ 个最嘈杂点的噪声水平，在一般条件下实现了对高达 1/5 的高噪声数据的鲁棒性。

ABSTRACT

In the setting of entangled single-sample distributions, the goal is to estimate some common parameter shared by a family of distributions, given one \emph{single} sample from each distribution. We study mean estimation and linear regression under general conditions, and analyze a simple and computationally efficient method based on iteratively trimming samples and re-estimating the parameter on the trimmed sample set. We show that the method in logarithmic iterations outputs an estimation whose error only depends on the noise level of the $\lceil αn ceil$-th noisiest data point where $α$ is a constant and $n$ is the sample size. This means it can tolerate a constant fraction of high-noise points. These are the first such results for the method under our general conditions. It also justifies the wide application and empirical success of iterative trimming in practice. Our theoretical results are complemented by experiments on synthetic data.

研究动机与目标

• 解决纠缠单样本分布设定下的参数估计问题，其中每个样本来自一个不同的分布但共享一个公共参数。
• 开发一种计算高效的估计器，即使在恒定比例的样本为高噪声时仍保持鲁棒性。
• 从理论上解释迭代修剪在噪声大、异质性数据设置中广泛存在的经验成功。
• 将结果推广至对称或单峰分布之外的一般条件，包括多变量均值估计和线性回归。

提出的方法

• 该方法通过基于当前残差修剪最偏离的样本比例，迭代地改进估计。
• 在每次迭代中，算法仅使用剩余的、噪声较小的样本计算新的估计。
• 修剪阈值基于协方差矩阵范数的第 $ \lceil \alpha n \rceil $ 个最大值（用于均值估计）或残差大小的第 $ \lceil \alpha n \rceil $ 个最大值（用于回归）。
• 该过程运行 $ O(\log n) $ 次迭代，确保计算效率。
• 对于线性回归，该方法假设设计矩阵足够分散，以确保可识别性。
• 该方法被视为经典修剪估计器的一种高效、交替更新的变体，避免了对子集进行指数级搜索。

实验结果

研究问题

• RQ1 在纠缠单样本分布中，迭代修剪能否实现仅依赖于第 $ \lceil \alpha n \rceil $ 个最嘈杂点噪声水平的估计误差？
• RQ2 当高达恒定比例的样本为高噪声时，该迭代修剪方法是否在一般分布假设下仍保持鲁棒性？
• RQ3 该方法在多变量均值估计和线性回归中是否具有计算效率和理论可解释性？
• RQ4 与已知所有样本真实噪声水平的最优估计器相比，迭代修剪的性能如何？

主要发现

• 对于多变量均值估计，迭代修剪方法实现了仅依赖于第 $ \lceil \alpha n \rceil $ 个最大协方差范数噪声水平的误差界，其中 $ \alpha \geq 4/5 $，意味着对高达 1/5 的高噪声点具有鲁棒性。
• 在单变量和多变量高斯设定下，迭代修剪方法的估计误差与仅使用 $ \alpha n $ 个最不嘈杂样本的最优均值估计器相当。
• 对于线性回归，在设计矩阵满足正则性条件的前提下，该方法的误差接近仅使用 $ \alpha n $ 个噪声方差最小样本的最优最小二乘估计器。
• 该方法在 $ O(\log n) $ 次迭代内收敛，相较于精确的修剪估计器具有更高的计算效率。
• 在合成数据上的实验验证了迭代修剪与最优估计器性能相当，证实了理论误差界的有效性。
• 结果表明，先前工作中激进的对称性假设并非必要，因为该方法在非对称协方差结构下仍表现良好。