[论文解读] A General Memory-Bounded Learning Algorithm

Michal Moshkovitz, Naftali Tishby|arXiv (Cornell University)|Dec 10, 2017

Machine Learning and Algorithms参考文献 24被引用 4

一句话总结

本文提出了一种适用于满足新组合性质‘可分性’（separability）的假设类的一般性内存受限学习算法，该性质可作为‘反混合’条件。该算法通过仅在每次迭代中使用少量内存位数来维护一个候选假设集合，并迭代地对其进行修剪，从而在已知分布下实现有界内存复杂度，且对可分类具有可证明的样本效率和内存效率。

ABSTRACT

Designing bounded-memory algorithms is becoming increasingly important nowadays. Previous works studying bounded-memory algorithms focused on proving impossibility results, while the design of bounded-memory algorithms was left relatively unexplored. To remedy this situation, in this work we design a general bounded-memory learning algorithm, when the underlying distribution is known. The core idea of the algorithm is not to save the exact example received, but only a few important bits that give sufficient information. This algorithm applies to any hypothesis class that has an "anti-mixing" property. This paper complements previous works on unlearnability with bounded memory and provides a step towards a full characterization of bounded-memory learning.

研究动机与目标

• 为解决尽管已有大量关于此类学习不可能性结果的研究，但缺乏通用的有界内存学习算法的问题。
• 定义一种新的组合条件——‘可分性’，以刻画在内存约束下可学习的假设类。
• 设计一种通用的正确且高效的有界内存学习算法，适用于受限内存环境。
• 通过证明该算法与统计查询模型等价，展示其对噪声的鲁棒性。
• 为自然类（如决策列表、等分块分类器和阈值函数）提供时间与内存最优的高效实现。

提出的方法

• 将假设类表示为示例与假设之间的二分图，边表示标签一致。
• 使用子集 $ S $ 与假设 $ h $ 之间的密度 $ d(S, h) $ 概念，通过采样示例估计该密度。
• 维护一个候选集 $ T \triangleq \text{候选假设} $，使其以高概率包含真实假设。
• 在每次迭代中，估计一个权重较重的示例子集 $ S $ 的 $ d(S, f) $，以识别并移除满足 $ d(S, h) \not\approx d(S, f) $ 的假设 $ h $。
• 利用‘可分性’性质，确保每次迭代可移除 $ T $ 中至少常数比例 $ \alpha^2/2 $ 的假设，从而实现对数时间收敛。
• 在统计查询模型中实现该算法，使用两个子程序：用于判断假设接近程度的‘Is-close’，以及用于密度估计的‘Estimate’，二者均可通过单个统计查询实现。

实验结果

研究问题

• RQ1 何种组合性质可使在已知分布下对假设类实现有界内存学习？
• RQ2 能否为内存受限学习设计一种通用且正确的学习算法，使其适用于多种不同的假设类？
• RQ3 如何在有限存储条件下最小化内存使用，同时确保学习过程的收敛性与正确性？
• RQ4 所提出的算法在多大程度上可对噪声保持鲁棒？其是否可被形式化为统计查询模型？
• RQ5 对于决策列表、阈值函数等自然类，该算法的时间与内存复杂度是多少？

主要发现

• 本文引入了‘可分性’性质作为有界内存学习的充分条件，其作为先前研究的‘混合’性质的对偶。
• 对于任意 $ (\alpha, \epsilon) $-可分假设类 $ \mathcal{H} $，该算法实现 $ \left(\log|\mathcal{H}| \cdot \frac{\log\log|\mathcal{H}| + \log(1/\alpha)}{\alpha^5}, \log|\mathcal{H}| \cdot \frac{1}{\alpha^2}, 0.1, \epsilon\right) $-有界内存复杂度。
• 该算法每次迭代使用 $ O\left(\frac{1}{\alpha^2}(\log\log|\mathcal{H}| + \log(1/\alpha))\right) $ 个样本，总迭代次数被限制在 $ O\left(\frac{\log|\mathcal{H}|}{\alpha^2}\right) $ 以内。
• 内存使用量为 $ O\left(\log|\mathcal{H}| \cdot \frac{1}{\alpha^2}\right) $ 比特，候选集 $ T $ 通过被移除集合的隐式存储方式实现，从而最小化存储开销。
• 该算法可被实现于统计查询模型中，从而实现对噪声的鲁棒性：在 $ \eta $-噪声下可被模拟，其中‘Is-close’需 $ O(\epsilon^{-2}(1-2\eta)^{-2}\log(1/\delta)) $ 个样本，而‘Estimate’需 $ O(\tau^{-2}(\frac{|S|}{|\mathcal{X}|})^{-2}(1-2\eta)^{-2}\log(1/\delta)) $ 个样本。
• 该算法对自然类（如决策列表、等分块分类器和离散阈值函数）具有高效实现，时间与内存效率均得到验证。