[论文解读] Instance Optimal Learning

Gregory Valiant, Paul Valiant|arXiv (Cornell University)|Apr 21, 2015

Machine Learning and Algorithms参考文献 32被引用 10

一句话总结

本文提出了一种实例最优的学习算法，通过从独立同分布样本中去噪经验分布，实现接近最小的 $\ell_1$ 误差，且无需对真实分布施加先验假设。该方法采用多阶段自适应四舍五入方案对直方图区间进行调整，即使在真实分布仅知其支撑集和样本量的情况下，也能实现与任何分布的最优可能误差相差 $o_n(1)$ 以内的误差。

ABSTRACT

We consider the following basic learning task: given independent draws from an unknown distribution over a discrete support, output an approximation of the distribution that is as accurate as possible in $\ell_1$ distance (i.e. total variation or statistical distance). Perhaps surprisingly, it is often possible to "de-noise" the empirical distribution of the samples to return an approximation of the true distribution that is significantly more accurate than the empirical distribution, without relying on any prior assumptions on the distribution. We present an instance optimal learning algorithm which optimally performs this de-noising for every distribution for which such a de-noising is possible. More formally, given $n$ independent draws from a distribution $p$, our algorithm returns a labelled vector whose expected distance from $p$ is equal to the minimum possible expected error that could be obtained by any algorithm that knows the true unlabeled vector of probabilities of distribution $p$ and simply needs to assign labels, up to an additive subconstant term that is independent of $p$ and goes to zero as $n$ gets large. One conceptual implication of this result is that for large samples, Bayesian assumptions on the "shape" or bounds on the tail probabilities of a distribution over discrete support are not helpful for the task of learning the distribution. As a consequence of our techniques, we also show that given a set of $n$ samples from an arbitrary distribution, one can accurately estimate the expected number of distinct elements that will be observed in a sample of any size up to $n \log n$. This sort of extrapolation is practically relevant, particularly to domains such as genomics where it is important to understand how much more might be discovered given larger sample sizes, and we are optimistic that our approach is practically viable.

研究动机与目标

• 开发一种学习算法，对独立同分布样本的经验分布进行去噪，以最小化与真实分布之间的 $\ell_1$ 距离，且无需对分布结构施加任何先验假设。
• 对任意分布，实现与已知真实概率向量 unlabeled 的算法所能达到的理论最小误差相匹配的误差界。
• 证明在大样本情形下，对分布尾部或结构的贝叶斯先验假设无法改善 $\ell_1$ 误差的最小化性能。
• 实现从大小为 $n$ 的样本中，准确外推更大样本（最多 $n\log n$ 大小）中未观测到元素的期望数量。

提出的方法

• 该算法按阶段 $j$ 处理经验直方图，每个阶段考虑概率质量位于区间 $[2^{-(j+1)}, 2^{-j})$ 的部分。
• 对每个阶段，执行两轮直方图值四舍五入：首先将第一个元素向上取整，并通过调整累计差值变量 $diff$ 来保持总质量不变。
• 利用相对地球移动者距离框架，通过累积分布比较，限制原始直方图 $g$ 与去噪输出 $h$ 之间的误差。
• 通过对变量 $x$ 进行 $\log x$ 变换，将地球移动者距离转化为可积分形式，从而在每阶段获得 $O(2^{-j})$ 的误差。
• 通过将四舍五入后的值按 $m/(m+diff)$ 缩放，确保各阶段间质量守恒，其中 $m$ 为原始质量，$diff$ 为累计四舍五入偏差。
• 最终误差界通过对所有阶段 $j \geq \lfloor |\log_2 \alpha| \rfloor$ 求和得出，总误差为 $20\alpha$，其中 $\alpha$ 为给定参数。

实验结果

研究问题

• RQ1 我们能否在不假设真实分布结构的前提下，对经验分布进行去噪，使其 $\ell_1$ 误差显著低于经验分布本身？
• RQ2 是否存在一种算法，对任意分布，其期望 $\ell_1$ 误差均能逼近理论最小误差，仅相差一个趋于零的次常数项（当 $n \to \infty$ 时）？
• RQ3 对分布形状或尾部行为的贝叶斯假设，在 $\ell_1$ 意义下能在多大程度上提升学习性能？
• RQ4 我们能否基于大小为 $n$ 的样本，准确估计大小为 $n\log n$ 的更大样本中不同元素的期望数量？

主要发现

• 该算法实现 $\mathbb{E}[\|p - q\|_1] \leq \text{opt}(p,n) + o_n(1)$，其中 $\text{opt}(p,n)$ 表示已知真实概率向量 unlabeled 的任何算法所能达到的最小期望误差。
• 误差界为实例最优：对任意分布 $p$，该算法的性能与最优可能误差相差 $o_n(1)$，即使真实分布仅知其支撑集和样本量，亦成立。
• 该算法可基于 $n$ 个样本，实现对大小达 $n\log n$ 的样本中不同元素期望数量的准确估计。
• 该方法表明，在大样本极限下，对分布形状或尾部衰减的先验假设无法降低 $\ell_1$ 误差，因为最优误差在无此类假设时已可达到。
• 原始分布与去噪后分布之间的相对地球移动者距离被限制在 $20\alpha$ 以内，该界通过阶段式分析及积分中的变量变换推导得出。
• 该算法的误差项 $o_n(1)$ 随 $n \to \infty$ 而趋于零，且仅依赖于 $n$，与具体分布 $p$ 无关。