[论文解读] Learning from Untrusted Data

Moses Charikar, Jacob Steinhardt+1 more|arXiv (Cornell University)|Nov 7, 2016

Machine Learning and Algorithms参考文献 35被引用 7

一句话总结

本文提出了两种鲁棒学习框架——列表可解学习与半验证学习，以实现从仅一小部分（α）数据可信的数据集中进行精确估计与优化。该文提出了高效的算法，能够输出一个短列表的假设（poly(1/α)大小）或利用一个小的可信数据集，从大规模不可信数据中提取精确信息，为对抗性污染下的鲁棒均值估计、混合模型学习和图划分问题提供了强有力的理论保证。

ABSTRACT

The vast majority of theoretical results in machine learning and statistics assume that the available training data is a reasonably reliable reflection of the phenomena to be learned or estimated. Similarly, the majority of machine learning and statistical techniques used in practice are brittle to the presence of large amounts of biased or malicious data. In this work we consider two frameworks in which to study estimation, learning, and optimization in the presence of significant fractions of arbitrary data. The first framework, list-decodable learning, asks whether it is possible to return a list of answers, with the guarantee that at least one of them is accurate. For example, given a dataset of $n$ points for which an unknown subset of $αn$ points are drawn from a distribution of interest, and no assumptions are made about the remaining $(1-α)n$ points, is it possible to return a list of $\operatorname{poly}(1/α)$ answers, one of which is correct? The second framework, which we term the semi-verified learning model, considers the extent to which a small dataset of trusted data (drawn from the distribution in question) can be leveraged to enable the accurate extraction of information from a much larger but untrusted dataset (of which only an $α$-fraction is drawn from the distribution). We show strong positive results in both settings, and provide an algorithm for robust learning in a very general stochastic optimization setting. This general result has immediate implications for robust estimation in a number of settings, including for robustly estimating the mean of distributions with bounded second moments, robustly learning mixtures of such distributions, and robustly finding planted partitions in random graphs in which significant portions of the graph have been perturbed by an adversary.

研究动机与目标

• 解决仅一小部分 α 的训练数据可信时的可靠学习挑战，特别是在 α < 1/2 的情况下。
• 研究在放宽对单一正确答案的要求、转而接受一个简短候选列表的前提下，是否仍可在存在对抗性或偏差数据时实现精确学习。
• 探索如何利用一个小的可信数据集，从远为庞大的不可信数据集中提取精确信息，从而实现可扩展的鲁棒学习。
• 为在数据质量假设最少的高维设置下提供鲁棒估计的理论基础。
• 将鲁棒学习的适用性扩展到实际问题，如混合模型估计、二阶矩有界的均值估计，以及在对抗性扰动下的图划分问题。

提出的方法

• 引入列表可解学习模型，其目标是输出最多 poly(1/α) 个假设，其中至少有一个与真实参数的距离在 ε 以内。
• 利用几何与集中性论证表明，若不可信数据显著扭曲分布，则其可被区分，并可通过聚类或矩方法加以隔离。
• 提出半验证学习模型，将一个小的可信数据集与一个大的不可信数据集结合，利用可信数据校准或验证来自不可信部分的估计。
• 开发一个通用的随机优化框架，支持在对抗性污染下实现鲁棒学习，利用次高斯尾部界和矩阵求逆恒等式。
• 应用 Woodbury 矩阵恒等式与矩界推导对数似然比的下界，从而导出鲁棒估计的充分条件。
• 利用次高斯尾部假设与矩生成函数界控制平方次高斯变量的方差，证明 Y = Z² − E[Z²] 是次高斯分布，其方差代理参数为 16σ⁴。

实验结果

研究问题

• RQ1 当仅一小部分 α 的数据来自真实分布，其余数据均被对抗性污染时，能否实现精确估计？
• RQ2 是否可以设计一种高效算法，输出一个简短的假设列表，使得至少一个假设准确，即使 α ≪ 1/2？
• RQ3 在多大程度上可利用一个小的可信数据集，实现从远为庞大的不可信数据集中的精确学习？
• RQ4 在仅具备二阶矩假设的前提下，能否实现鲁棒均值估计，即使存在恒定比例的数据被污染？
• RQ5 如何将鲁棒学习应用于复杂问题，例如在对抗性边扰动下识别随机图中的植入分区？

主要发现

• 本文证明了即使 α ≪ 1/2，鲁棒学习仍是可能的，通过展示可计算出一个大小为 poly(1/α) 的列表，使得其中至少一个假设与真实参数的距离在 ε 以内。
• 对于具有有界二阶矩的鲁棒均值估计，所提方法在对抗性污染下仍能实现与 α 成适当比例的误差界。
• 半验证学习模型可利用极小的可信子集，从大规模不可信数据集中精确提取信息，且在误差与样本复杂度方面具有理论保证。
• 通过将一个分量视为真实数据，其余视为不可信数据，该框架支持混合模型的鲁棒学习，性能接近独立同分布假设下的理想情况。
• 通过识别在恒定比例边被对抗性修改的随机图中仍存在的植入分区，该方法在图划分中实现了鲁棒性。
• 一项关键技术贡献是证明：以均值为中心的次高斯随机变量的平方，仍是次高斯分布，其方差代理参数为 16σ⁴，从而在分析中实现更紧的集中不等式。