[论文解读] Efficient Robust Proper Learning of Log-concave Distributions

Ilias Diakonikolas, Daniel M. Kane+1 more|arXiv (Cornell University)|Jun 9, 2016

Machine Learning and Algorithms参考文献 40被引用 13

一句话总结

该论文提出了首个在连续和离散域上均计算高效、鲁棒且正确的单变量对数凹分布学习算法。其样本复杂度达到最优的 $ O(\epsilon^{-5/2}) $，运行时间为 $ \tilde{O}(\epsilon^{-4}) $，并输出一个对数凹假设，该假设在总变差距离下与目标分布的差距为 $ O(\text{OPT}) + \epsilon $，即使在模型误设的情况下也能保持这一性能。

ABSTRACT

A probability distribution over the Boolean cube is monotone if flipping the value of a coordinate from zero to one can only increase the probability of an element. Given samples of an unknown monotone distribution over the Boolean cube, we give (to our knowledge) the first algorithm that learns an approximation of the distribution in statistical distance using a number of samples that is sublinear in the domain. To do this, we develop a structural lemma describing monotone probability distributions. The structural lemma has further implications to the sample complexity of basic testing tasks for analyzing monotone probability distributions over the Boolean cube: We use it to give nontrivial upper bounds on the tasks of estimating the distance of a monotone distribution to uniform and of estimating the support size of a monotone distribution. In the setting of monotone probability distributions over the Boolean cube, our algorithms are the first to have sample complexity lower than known lower bounds for the same testing tasks on arbitrary (not necessarily monotone) probability distributions. One further consequence of our learning algorithm is an improved sample complexity for the task of testing whether a distribution on the Boolean cube is monotone.

研究动机与目标

• 开发一种在 $ \mathbb{R} $ 和 $ \mathbb{Z} $ 上计算高效、鲁棒且正确的单变量对数凹分布学习算法。
• 实现对数凹族的agnostic学习的最优样本复杂度（常数因子内）。
• 确保算法对模型误设具有鲁棒性，提供与家族中最佳近似相当的误差保证。
• 设计一种运行时间多项式且保持正确性的方法，该性质在统计建模中常用于可解释性。

提出的方法

• 该算法采用两阶段方法：首先，应用一种非正确（non-proper）的agnostic学习算法，获得目标分布的分段线性近似。
• 然后，构建一个动态规划框架，将分段线性密度近似为一个对数凹的分段指数函数。
• 该动态规划在一组离散化的可能对数概率值和区间端点上运行，通过最短路径计算寻找最匹配的对数凹密度。
• 该方法利用一个近似定理：任何对数凹密度均可通过具有 $ O(\epsilon^{-1/2}) $ 段的分段线性密度实现 $ \epsilon $-近似。
• 通过精心设计的误差界计算近似与真实密度之间的总变差距离，确保 $ \|g - h\|_1 \leq O(\text{OPT} + \epsilon) $。
• 通过动态规划结构强制实施对数凹性条件，确保最终假设为正确的对数凹密度。

实验结果

研究问题

• RQ1 我们能否在鲁棒正确学习单变量对数凹分布方面实现最优样本复杂度？
• RQ2 能否设计一种在模型误设下具有鲁棒性的多项式时间正确学习算法？
• RQ3 即使真实分布并非对数凹，我们能否高效计算出一个与家族中最佳近似接近的对数凹密度？
• RQ4 在保持近似最优误差保证的同时，维持正确性所带来的计算成本是多少？

主要发现

• 该算法实现了 $ O(\epsilon^{-5/2}) $ 的样本复杂度，信息论上最优（常数因子内）。
• 运行时间为 $ \tilde{O}(\epsilon^{-4}) $，或以样本量 $ n $ 表示为 $ \tilde{O}(n^{8/5}) $，在输入规模下为次二次复杂度。
• 输出假设 $ h $ 满足 $ d_{\text{TV}}(h, f) \leq O(\text{OPT}) + \epsilon $，概率至少为 9/10，其中 $ \text{OPT} = \inf_{g \in \text{LC}(D)} d_{\text{TV}}(f, g) $。
• 该算法是首个为单变量对数凹分布提供正确、鲁棒且高效学习解决方案的算法，解决了长期存在的开放问题。
• 动态规划方法可扩展用于学习 $ k $ 个对数凹密度的混合，但时间复杂度随 $ k $ 指数增长。