[論文レビュー] Fast Learning Requires Good Memory: A Time-Space Lower Bound for Parity Learning

Ran Raz|arXiv (Cornell University)|Feb 16, 2016

Cryptography and Data Security参考文献 7被引用数 16

ひとこと要約

この論文は、パリティ学習における時間-空間トレードオフの下界を確立し、ランダムな $n$-ビットパリティ関数を学習するための、$rac{n^2}{25}$ ビット未満のメモリを使用する任意のアルゴリズムが、指数関数的な数のサンプルを必要とすることを証明している。この結果は、Steinhardt, Valiant, および Wager が提起した予想を解決し、特定の学習問題において、大容量のメモリが効率的な学習に不可欠であることを示しており、計算複雑性および限定的記憶容量暗号への影響をもたらす。

ABSTRACT

We prove that any algorithm for learning parities requires either a memory of quadratic size or an exponential number of samples. This proves a recent conjecture of Steinhardt, Valiant and Wager and shows that for some learning problems a large storage space is crucial. More formally, in the problem of parity learning, an unknown string $x \in \{0,1\}^n$ was chosen uniformly at random. A learner tries to learn $x$ from a stream of samples $(a_1, b_1), (a_2, b_2) \ldots$, where each~$a_t$ is uniformly distributed over $\{0,1\}^n$ and $b_t$ is the inner product of $a_t$ and $x$, modulo~2. We show that any algorithm for parity learning, that uses less than $\frac{n^2}{25}$ bits of memory, requires an exponential number of samples. Previously, there was no non-trivial lower bound on the number of samples needed, for any learning problem, even if the allowed memory size is $O(n)$ (where $n$ is the space needed to store one sample). We also give an application of our result in the field of bounded-storage cryptography. We show an encryption scheme that requires a private key of length $n$, as well as time complexity of $n$ per encryption/decription of each bit, and is provenly and unconditionally secure as long as the attacker uses less than $\frac{n^2}{25}$ memory bits and the scheme is used at most an exponential number of times. Previous works on bounded-storage cryptography assumed that the memory size used by the attacker is at most linear in the time needed for encryption/decription.

研究の動機と目的

• Steinhardt, Valiant, および Wager が提起した、効率的なパリティ学習に大容量メモリが必要であるという予想を解決すること。
• サブ2次関数的メモリ制約下でも、学習に必要なサンプル数に対する非自明な下界を確立すること。
• 特定の問題において、メモリサイズが学習効率の主要なボトル neck であることを示すこと。
• パリティ学習問題における形式的な時間-空間トレードオフの下界を提示すること。
• 結果を限定的記憶容量暗号に応用し、記憶容量が限られた攻撃者に対して安全な暗号方式を構築すること。

提案手法

• 制限されたメモリとサンプル制約を持つ学習アルゴリズムを形式化するため、分岐プログラムモデルを用いる。
• ランダムサンプル上でのアフィン部分空間の進化に関する確率的解析を適用し、正しい解に到達する確率を制限する。
• 可能な部分空間全体にわたる和集合を用いて、分岐プログラム内での誤った経路進行の確率を制御する。
• 計算経路のレイヤー別分析を導入し、時間経過に伴う部分空間の次元の低下を追跡する。
• 組合せ的および情報理論的議論を組み合わせることで、メモリ制約とサンプル制約を統合し、任意のアルゴリズムの成功確率の上限を導出する。
• 各サンプルが2を法とする線形方程式を明らかにするというパリティ問題の構造を活用し、学習を部分空間回復としてモデル化し、正しい収束の可能性を分析する。

実験結果

リサーチクエスチョン

• RQ1 サブ2次関数的メモリ制約下でも、指数関数的サンプル数または2次関数的メモリが必要となる学習問題が存在する可能性はあるか？
• RQ2 メモリが $o(n^2)$ ビットに制限される場合、学習に必要なサンプル数に対する非自明な下界を証明することは可能か？
• RQ3 パリティ学習問題は、小容量メモリが指数関数的サンプル複雑性を強いる、根本的な時間-空間トレードオフを示しているか？
• RQ4 このような時間-空間トレードオフを、記憶容量が限られた攻撃者に対して安全な暗号方式の構築に活用できるか？
• RQ5 Steinhardt, Valiant, および Wager が提起した予想——パリティ学習には $rac{n^2}{4}$ メモリまたは $2^{n/4}$ サンプルが必要——は、定数を緩和しても成立するか？

主な発見

• パリティ学習に $rac{n^2}{25}$ ビット未満のメモリを使用する任意のアルゴリズムは、指数関数的サンプル数を必要とする。
• この論文は、時間-空間トレードオフの下界を証明している：パリティ学習では、メモリサイズが $\Omega(n^2)$ でなければならず、あるいはサンプル複雑度が $2^{\Omega(n)}$ でなければならない。
• 幅が $2^{cn^2}$ 以下で長さが $2^{\alpha n}$ 以下の任意の分岐プログラムの成功確率は、$c < \frac{1}{20}$ の場合、$O(2^{-\alpha n})$ 以下である。
• この結果は、サブ2次関数的メモリ制約下では、多項式的サンプルアクセスがあっても、効率的な学習アルゴリズムは存在しないことを示唆する。
• 攻撃者が $rac{n^2}{25}$ ビット未満のメモリを使用する限り、かつその方式が指数関数的回数以内に使用される限り、無条件に安全である新しい暗号方式が構築された。
• 分析により、$2^{\alpha n}$ サンプルと $2^{cn^2}$ メモリを用いても、成功確率が $n$ に対して指数関数的に減少することが示され、大容量メモリが効率的学習に不可欠であることが確認された。