[論文レビュー] Time-Space Tradeoffs for Learning from Small Test Spaces: Learning Low Degree Polynomial Functions

Paul Beame, Shayan Oveis Gharan+1 more|arXiv (Cornell University)|Aug 8, 2017

Machine Learning and Algorithms参考文献 4被引用数 6

ひとこと要約

この論文は、確率分布の2ノルム増幅を測る洗練された行列ノルム解析を導入することで、𝔽₂ 上の低次の多項式関数を学習するためのタイトな時間-空間トレードオフ下界を確立する。m 変数の同次多項式関数を学習するには、Ω(mn) の空間または 2^Ω(m) の時間が必要であり、ここで n = m^Θ(d) である。これは自然なアルゴリズムの複雑さと一致し、従来の研究を小さなテスト空間へと拡張する。

ABSTRACT

We develop an extension of recently developed methods for obtaining time-space tradeoff lower bounds for problems of learning from random test samples to handle the situation where the space of tests is signficantly smaller than the space of inputs, a class of learning problems that is not handled by prior work. This extension is based on a measure of how matrices amplify the 2-norms of probability distributions that is more refined than the 2-norms of these matrices. As applications that follow from our new technique, we show that any algorithm that learns $m$-variate homogeneous polynomial functions of degree at most $d$ over $\mathbb{F}_2$ from evaluations on randomly chosen inputs either requires space $Ω(mn)$ or $2^{Ω(m)}$ time where $n=m^{Θ(d)}$ is the dimension of the space of such functions. These bounds are asymptotically optimal since they match the tradeoffs achieved by natural learning algorithms for the problems.

研究の動機と目的

• 入力空間に比べて著しく小さいテスト空間を持つ学習問題に対して、既存の時間-空間トレードオフ下界のギャップを埋めること。
• 入力次元に対して指数的でない数のテストが可能な場合に、従来の行列ベースの解析手法を拡張すること。
• 𝔽₂ 上の同次多項式関数を学習するための漸近的に最適な時間-空間トレードオフを確立すること。
• 二値出力にとどまらず、多値出力および素数体へとフレームワークを一般化し、より広範な適用可能性を実現すること。

提案手法

• 行列の2ノルム増幅を測る洗練された指標を導入し、標準的な行列2ノルムを超えて、確率分布の2ノルムがどのように変化するかを追跡すること。
• 2ノルム増幅曲線 τ_M(δ) を定義し、行列乗算による2ノルムの増大を定量化することで、空間制限付きアルゴリズムにおける学習の進行を分析可能にする。
• 半定値緩和技術を用いて、テスト-出力マッピングを表す行列 M の行ノルムの分布を束縛する。特に、𝔽₂ 上のリード・マラー符号に対して有効である。
• 多値出力に対して複素行列表現を適用し、二値インジケータを単位根に置き換えることで、r 進出力への一般化を実現する。
• ω = e²πi/p に対して、∑ₐ∈𝔽ₚᵐ ω^p(a) のような指標和の境界を用いて、多項式評価のバランス性を分析し、下界を導出する。
• Raz (2016) および Moshkovitz & Moshkovitz (2017) のフレームワークを、一貫した部分空間と学習分岐プログラムにおけるパスの切り詰めを分析することで、構造的テスト空間に対応可能にすること。

実験結果

リサーチクエスチョン

• RQ1 テスト空間が入力空間に比べて指数的に小さい学習問題に対し、時間-空間トレードオフ下界を拡張できるか？
• RQ2 テスト空間が小さい場合に、空間制限付きアルゴリズムにおける学習進行の tighter 分析を可能にする洗練された行列ノルム測度は何か？
• RQ3 テスト可能な数が入力次元に対して指数的でない場合でも、多項式関数の学習における時間-空間トレードオフはパリティ学習と同様に成り立つか？
• RQ4 このフレームワークは、𝔽₂ を超えて多値出力および素数体へ一般化可能か？
• RQ5 多項式評価分布にどのような条件を課すと、近似バランスの取れたコードワードの割合が無視できるほど小さくなり、強い下界が得られるか？

主な発見

• 𝔽₂ 上の m 変数の同次多項式関数を、ランダムな評価から学習する任意のアルゴリズムは、Ω(mn) の空間または 2^Ω(m) の時間を必要とし、ここで n = m^Θ(d) は関数空間の次元である。
• 導出されたトレードオフは漸近的に最適であり、O(mn) のサンプルを保存するか、2^O(m) の入力を全探索する自然なアルゴリズムの複雑さと一致する。
• 2ノルム増幅曲線 τ_M(δ) が、d に依存する定数から離れていることが示され、d が m と共に増加する場合に指数的下界の導出が可能になる。
• r 値の多値出力に対しては、複素行列表現と単位根を用いた分析が一般化され、二値インジケータの 1/2 が 1/r に置き換えられる。
• 素数体 𝔽_p（p > 2）における学習に対しても非自明な下界が得られるが、現在の指標和の境界では 𝔽₂ の場合ほどの強さまでは得られていない。
• このフレームワークは、パリティ学習に関する従来の研究を構造的テスト空間へと拡張し、小さなテスト空間からの学習における超線形空間閾値の存在についての未解決問題を解決した。