[论文解读] Learning Discrete Distributions from Untrusted Batches

Mingda Qiao, Gregory Valiant|arXiv (Cornell University)|Nov 22, 2017

Machine Learning and Algorithms参考文献 27被引用 9

一句话总结

本文提出了从不受信任的数据批次中学习离散分布的鲁棒算法，其中最多有 $\epsilon$ 分数的批次可能被对抗性源恶意破坏。它提出了两种方法：一种在支持大小 $n$ 上具有指数时间复杂度，但在 $k$、$1/\epsilon$ 和 $1/\eta$ 上为多项式时间，误差为 $O(\eta + \epsilon/\sqrt{k})$，使用 $O((n+k)/\epsilon^2)$ 个批次；第二种方法在 $\eta=0$ 情况下运行时间为 $\operatorname{poly}((nk)^k)$，通过一种新颖的基于 $\ell_1$ 的张量近似方法实现相同的误差界。

ABSTRACT

We consider the problem of learning a discrete distribution in the presence of an $ε$ fraction of malicious data sources. Specifically, we consider the setting where there is some underlying distribution, $p$, and each data source provides a batch of $\ge k$ samples, with the guarantee that at least a $(1-ε)$ fraction of the sources draw their samples from a distribution with total variation distance at most $η$ from $p$. We make no assumptions on the data provided by the remaining $ε$ fraction of sources--this data can even be chosen as an adversarial function of the $(1-ε)$ fraction of "good" batches. We provide two algorithms: one with runtime exponential in the support size, $n$, but polynomial in $k$, $1/ε$ and $1/η$ that takes $O((n+k)/ε^2)$ batches and recovers $p$ to error $O(η+ε/\sqrt{k})$. This recovery accuracy is information theoretically optimal, to constant factors, even given an infinite number of data sources. Our second algorithm applies to the $η= 0$ setting and also achieves an $O(ε/\sqrt{k})$ recover guarantee, though it runs in $\mathrm{poly}((nk)^k)$ time. This second algorithm, which approximates a certain tensor via a rank-1 tensor minimizing $\ell_1$ distance, is surprising in light of the hardness of many low-rank tensor approximation problems, and may be of independent interest.

研究动机与目标

• 解决当一部分数据批次被任意破坏的对抗性源破坏时学习离散分布的问题。
• 设计即使在破坏数据可对抗性地依赖于良好数据的情况下仍保持准确的算法。
• 在存在不受信任的数据批次时，实现信息论上最优的误差界。
• 为 $\eta = 0$ 的特殊情况设计高效算法，此时良好批次是从目标分布 $p$ 独立同分布采样的。
• 在对破坏数据的假设最少的前提下，提供样本复杂度和误差界的理论保证。

提出的方法

• 第一种算法使用批次的频率张量，并在一组候选分布 $\textsf{DistSet}(n,k,A)$ 中搜索，这些候选分布与观测到的批次频率在 $\ell_1$ 距离上接近。
• 通过函数 $f_{n,t}(\epsilon,m)$ 应用递归的集中不等式，以在 $\textsf{DistSet}$ 中上界真实分布 $p$ 与最佳候选之间的距离。
• 第二种算法通过最小化 $\ell_1$ 距离来近似分布 $p$ 的 $k$ 重张量积为一个秩-1 张量，利用了一个出人意料的可计算性结果，尽管低秩张量近似在一般情况下是困难的。
• 它利用了总变差距离的张量化性质：$\|p^{\
• research_questions
• key_findings

实验结果

研究问题

• RQ1 当一部分 $\epsilon$ 的数据批次被对抗性破坏时，即使拥有无限数据，分布学习的根本极限是什么？
• RQ2 我们能否在不受信任的批次下实现 $O(\eta + \epsilon/\sqrt{k})$ 的误差？该误差是否最优？
• RQ3 是否可能设计一种针对 $\eta = 0$ 情况的高效算法，实现 $O(\epsilon/\sqrt{k})$ 的误差，即使低秩张量近似在一般情况下是不可计算的？
• RQ4 在对抗性破坏存在的情况下，需要多少批次才能以高概率实现给定的误差容忍度？
• RQ5 能否构建一种对对抗性数据不敏感的鲁棒估计器，即使攻击者观察并响应于良好数据？

主要发现

• 所提出的算法在使用 $O((n+k)/\epsilon^2)$ 个批次时，实现了 $O(\eta + \epsilon/\sqrt{k})$ 的误差界，该界在常数因子范围内为信息论最优。
• 误差界 $O(\eta + \epsilon/\sqrt{k})$ 即使在无限数据极限下也是紧的，通过匹配的下界 $2\eta + \epsilon/\sqrt{2k}$ 得到证明。
• 对于 $\eta = 0$ 的情况，第二种算法在 $\operatorname{poly}((nk)^k)$ 时间内实现了 $O(\epsilon/\sqrt{k})$ 的误差，尽管低秩张量近似在一般情况下是不可计算的。
• 该算法利用了一种新颖的基于 $\ell_1$ 的 $k$ 重张量积 $p^{\otimes k}$ 的秩-1 近似，该近似在此设定下出人意料地可计算。
• 样本复杂度为 $O((n+k)/\epsilon^2)$，且算法以高概率 $1 - \delta$ 成功，其对 $n$、$k$、$\epsilon$ 和 $\delta$ 的依赖关系是显式给出的。
• 分析表明，即使破坏数据依赖于良好数据，该方法仍保持鲁棒性并实现最优误差，展示了对最坏情况破坏的强大鲁棒性。