[论文解读] Learning convex bodies is hard

Navin Goyal, Luis Rademacher|ArXiv.org|Apr 7, 2009

Domain Adaptation and Few-Shot Learning参考文献 9被引用 19

一句话总结

本文建立了在 $ℝ^d$ 中以 $\epsilon$-对称差为误差学习凸体所需随机采样数量的超多项式下界，表明 $2^{\Omega(\sqrt{d/\epsilon})}$ 个样本是必需的。作者通过纠错码与对单纯形的峰值修改，显式构造了一类凸体，证明任何算法都无法用更少的样本区分它们，从而揭示了仅从均匀随机样本学习凸体的内在困难性。

ABSTRACT

We show that learning a convex body in $\RR^d$, given random samples from the body, requires $2^{Ω(\sqrt{d/\eps})}$ samples. By learning a convex body we mean finding a set having at most $\eps$ relative symmetric difference with the input body. To prove the lower bound we construct a hard to learn family of convex bodies. Our construction of this family is very simple and based on error correcting codes.

研究动机与目标

• 确定在 $ℝ^d$ 中以给定对称差误差 $\epsilon$ 学习凸体所需的最少随机样本数量。
• 证明即使在无计算约束的情况下，从均匀随机样本学习凸体在信息论上也是困难的。
• 利用纠错码与对单纯形的几何修改，显式构造一个难以学习的凸体族。
• 表明即使拥有成员查询访问权限，学习凸体仍需要在 $\sqrt{d}$ 上指数级的样本数量，凸显该问题的根本难度。

提出的方法

• 通过在 $d$ 维单纯形的面上附加小峰，构造一个凸体的基础族，确保每个峰足够小以保持凸性，但总体积足够大以可检测。
• 使用纠错码从这些体中选取一个子族，使得任意两个体在体积上相差一个常数比例，从而保证较大的对称差。
• 分析这些体的统计不可区分性：由于峰的检测稀疏，亚多项式数量的随机样本无法可靠地区分其中任意两个体。
• 基于并集界与体积集中性，应用概率论证，证明除非样本数 $q \geq 2^{\Omega(\sqrt{d/\epsilon})}$，否则从 $q$ 个样本中正确识别出正确体的概率小于 $1/2$。
• 利用任何可学习体的算法也能估计其体积的事实，结合已知的体积估计下界，推导出主要结果。
• 通过体上均匀分布之间的总变差距离形式化学习问题，并定义在随机体与随机样本上的成功概率。

实验结果

研究问题

• RQ1 在 $ℝ^d$ 中学习凸体至 $\epsilon$-对称差，所需的最少均匀随机样本数量是多少？
• RQ2 能否显式构造一个难以学习的凸体族，使得任何样本规模亚指数的算法都无法区分其中任意两个？
• RQ3 即使拥有成员查询访问权限，学习凸体的信息论样本复杂度是否在 $\sqrt{d}$ 上呈指数级？
• RQ4 纠错码的使用如何使构造出的凸体族在对称差上彼此远离，同时在少量样本下统计不可区分？
• RQ5 能否通过构造在半空间测度下几乎不可区分但对称差较大的凸体，来展示通过半空间交集进行体积估计的不稳定性？

主要发现

• 本文建立了在 $ℝ^d$ 中以 $\epsilon$-对称差学习凸体所需样本数的下界 $2^{\Omega(\sqrt{d/\epsilon})}$，该下界几乎紧致，与相关设置中已知的最佳上界一致。
• 难以学习的凸体族通过纠错码与对单纯形的峰附加显式构造，使构造过程比以往的概率构造更具透明性与构造性。
• 即使同时拥有随机样本与成员查询访问权限，学习凸体仍需要在 $\sqrt{d}$ 上指数级的样本数量，表明该问题在统计上本质上困难。
• 作者证明，对于任意常数 $\epsilon > 0 $，存在 $ℝ^d$ 中的凸体，其在半空间测度下为 $1/d^t$-接近（即几乎无法通过半空间测度区分），但对称差大于 $1/8$，从而揭示了基于体积的重构方法的不稳定性。
• 该结果意味着，仅用 $\mathrm{poly}(d)$ 个均匀随机样本无法估计凸体的体积，解决了 Frieze 等人提出的问题，并证实了 Eldan 的一个猜想。
• 该构造表明，即使凸体是具有 $\mathrm{poly}(d)$ 个面的多面体，任何算法也无法用 $\mathrm{poly}(d)$ 个样本学习它，从而留下一个开放问题：此类学习是否可能在 $\mathrm{poly}(d)$ 时间内完成。