[论文解读] Fast Learning Requires Good Memory: A Time-Space Lower Bound for Parity Learning

Ran Raz|arXiv (Cornell University)|Feb 16, 2016

Cryptography and Data Security参考文献 7被引用 16

一句话总结

本文建立了奇偶学习的时间-空间权衡下界，证明任何使用少于 $\frac{n^2}{25}$ 个内存位的算法，都需要指数数量的样本才能学习一个随机的 $n$-比特奇偶函数。该结果解决了Steinhardt、Valiant和Wager的猜想，表明在某些学习问题中，大内存对于高效学习是必不可少的，对计算复杂性与受限存储密码学具有重要意义。

ABSTRACT

We prove that any algorithm for learning parities requires either a memory of quadratic size or an exponential number of samples. This proves a recent conjecture of Steinhardt, Valiant and Wager and shows that for some learning problems a large storage space is crucial. More formally, in the problem of parity learning, an unknown string $x \in \{0,1\}^n$ was chosen uniformly at random. A learner tries to learn $x$ from a stream of samples $(a_1, b_1), (a_2, b_2) \ldots$, where each~$a_t$ is uniformly distributed over $\{0,1\}^n$ and $b_t$ is the inner product of $a_t$ and $x$, modulo~2. We show that any algorithm for parity learning, that uses less than $\frac{n^2}{25}$ bits of memory, requires an exponential number of samples. Previously, there was no non-trivial lower bound on the number of samples needed, for any learning problem, even if the allowed memory size is $O(n)$ (where $n$ is the space needed to store one sample). We also give an application of our result in the field of bounded-storage cryptography. We show an encryption scheme that requires a private key of length $n$, as well as time complexity of $n$ per encryption/decription of each bit, and is provenly and unconditionally secure as long as the attacker uses less than $\frac{n^2}{25}$ memory bits and the scheme is used at most an exponential number of times. Previous works on bounded-storage cryptography assumed that the memory size used by the attacker is at most linear in the time needed for encryption/decription.

研究动机与目标

• 解决Steinhardt、Valiant和Wager关于高效奇偶学习所需大内存必要性的猜想。
• 在子二次方内存约束下，首次建立学习所需样本数的非平凡下界。
• 证明内存大小是某些问题中学习效率的关键瓶颈。
• 为奇偶学习问题提供正式的时间-空间权衡下界。
• 将结果应用于受限存储密码学，构建一种对内存受限攻击者安全的密码方案。

提出的方法

• 使用分支程序模型形式化具有有界内存和样本约束的学习算法。
• 应用仿射子空间在随机样本下演化的概率分析，以限制达到正确解的概率。
• 对可能的子空间使用并集界，以控制分支程序中错误路径推进的概率。
• 对分支程序的计算路径进行分层分析，追踪随时间推移的子空间维数减少。
• 通过组合数学与信息论论证，结合内存与样本约束，推导出任何算法的成功概率界。
• 利用奇偶问题的结构——每个样本揭示一个模 2 的线性方程——将学习建模为子空间恢复，并分析正确收敛的可能性。

实验结果

研究问题

• RQ1 是否存在一种学习问题，即使内存上限为子二次方，也要求指数级样本或二次方内存？
• RQ2 当内存被限制在 $o(n^2)$ 位时，能否证明学习所需样本数的非平凡下界？
• RQ3 奇偶学习问题是否展现出一种根本性的时间-空间权衡，即小内存迫使样本复杂度呈指数级？
• RQ4 此类时间-空间权衡能否被用于构建对内存受限攻击者安全的密码系统？
• RQ5 Steinhardt、Valiant和Wager的猜想——奇偶学习需要 $\frac{n^2}{4}$ 内存或 $2^{n/4}$ 个样本——在放宽常数条件下是否成立？

主要发现

• 任何使用少于 $\frac{n^2}{25}$ 个内存位的奇偶学习算法，都需要指数数量的样本。
• 本文证明了时间-空间权衡下界：对于奇偶学习，内存大小必须为 $\Omega(n^2)$，或样本复杂度必须为 $2^{\Omega(n)}$。
• 任何宽度至多为 $2^{cn^2}$ 且长度至多为 $2^{\alpha n}$ 的分支程序，其成功概率至多为 $O(2^{-\alpha n})$，其中 $c < \frac{1}{20}$。
• 该结果意味着，在子二次方内存约束下，即使拥有多项式样本访问权限，也不存在高效的机器学习算法。
• 构造了一种新的加密方案，只要攻击者使用的内存少于 $\frac{n^2}{25}$ 个位，且该方案使用次数不超过指数级，即可无条件安全。
• 分析表明，即使拥有 $2^{\alpha n}$ 个样本和 $2^{cn^2}$ 个内存位，成功概率仍随 $n$ 指数级衰减，从而证实了大内存对高效学习的必要性。