[论文解读] Estimating Learnability in the Sublinear Data Regime

Weihao Kong, Gregory Valiant|arXiv (Cornell University)|May 4, 2018

Machine Learning and Algorithms参考文献 57被引用 4

一句话总结

该论文提出了一种方法，用于估计模型类的可学习性——具体而言，即线性函数可解释的标签方差比例——即使在数据维度呈次线性时亦可实现。在各向同性情况下使用 $O(\sqrt{d})$ 个样本，在非各向同性情况下使用 $O(d^{1-1/\log(1/\epsilon)})$ 个样本，该方法可在无需一致协方差估计或对标签分布做强假设的前提下，实现精确的噪声方差估计。

ABSTRACT

We consider the problem of estimating how well a model class is capable of fitting a distribution of labeled data. We show that it is often possible to accurately estimate this "learnability" even when given an amount of data that is too small to reliably learn any accurate model. Our first result applies to the setting where the data is drawn from a $d$-dimensional distribution with isotropic covariance (or known covariance), and the label of each datapoint is an arbitrary noisy function of the datapoint. In this setting, we show that with $O(\sqrt{d})$ samples, one can accurately estimate the fraction of the variance of the label that can be explained via the best linear function of the data. In contrast to this sublinear sample size, finding an approximation of the best-fit linear function requires on the order of $d$ samples. Our sublinear sample results and approach also extend to the non-isotropic setting, where the data distribution has an (unknown) arbitrary covariance matrix: we show that, if the label $y$ of point $x$ is a linear function with independent noise, $y = \langle x , β angle + noise$ with $\|β\|$ bounded, the variance of the noise can be estimated to error $ε$ with $O(d^{1-1/\log{1/ε}})$ if the covariance matrix has bounded condition number, or $O(d^{1-\sqrtε})$ if there are no bounds on the condition number. We also establish that these sample complexities are optimal, to constant factors. Finally, we extend these techniques to the setting of binary classification, where we obtain analogous sample complexities for the problem of estimating the prediction error of the best linear classifier, in a natural model of binary labeled data. We demonstrate the practical viability of our approaches on several real and synthetic datasets.

研究动机与目标

• 在数据不足以训练出准确模型时，估计模型类对标签数据分布的拟合能力。
• 通过证明可学习性可在 $o(d)$ 个样本下估计，克服标准学习需要 $\Omega(d)$ 个样本的限制。
• 在不假设标签为线性函数加独立噪声的前提下，将估计方法扩展至非各向同性和非高斯数据分布。
• 为方差和分类误差估计提供样本复杂度及最优性的理论保证。
• 在最小分布假设下，于真实和合成数据集上展示方法的实际可行性。

提出的方法

• 采用统一方法估计线性函数可解释的标签方差比例，即使在数据协方差未知或任意时亦可实现。
• 利用卡方散度和总变差距离推导样本复杂度的下界，利用高维球面的几何性质。
• 通过高斯标签的符号变换，将二分类问题随机化约化为回归设置。
• 利用单位向量上的角度积分，推导纯噪声与纯信号分布之间卡方散度的界。
• 利用球面对积分的集中性和尾部界，上界限定噪声与信号情形的可区分性。
• 通过信息论论证建立样本复杂度的最优性，证明下界与上界在常数因子内匹配。

实验结果

研究问题

• RQ1 当数据维度为 $d$ 时，是否能在少于 $d$ 个样本下估计模型类的可学习性（例如可解释方差）？
• RQ2 在各向同性数据下，是否能使用 $O(\sqrt{d})$ 个样本准确估计线性模型中的噪声方差？
• RQ3 能否将次线性可学习性估计扩展至协方差未知的非各向同性数据，所需样本复杂度是多少？
• RQ4 在逻辑斯蒂模型假设下，该方法在二分类设置中是否仍有效？
• RQ5 所推导的可学习性估计样本复杂度是否在常数因子内最优？

主要发现

• 在各向同性高斯情况下，使用 $O(\sqrt{d})$ 个样本，可准确估计最佳线性函数可解释的标签方差比例。
• 在条件数有界的非各向同性情况下，可通过 $O(d^{1-1/\log(1/\epsilon)})$ 个样本将噪声方差估计误差控制在 $\epsilon$ 以内。
• 对于无界条件数的情况，所需样本量为 $O(d^{1-\sqrt{\epsilon}})$，且这些界在常数因子内最优。
• 该方法可扩展至逻辑斯蒂模型下的二分类问题，实现对最优线性分类器误差的类似次线性样本复杂度估计。
• 理论下界表明，在非各向同性情况下，任何算法都无法在 $o(d)$ 个样本下区分纯噪声与信号。
• 该方法对任意标签分布具有鲁棒性，且无需假设标签为线性函数加独立噪声，优于以往工作。