[論文レビュー] Conspiracies between Learning Algorithms, Circuit Lower Bounds and Pseudorandomness

Igor Carboni Oliveira, Rahul Santhanam|arXiv (Cornell University)|Nov 3, 2016

Machine Learning and Algorithms参考文献 48被引用数 17

ひとこと要約

この論文は、学習アルゴリズム、回路下界、および擬似乱数性の間の深い、予期しない関係を確立している。非自明な多項式サイズの回路の部分指数的時間での学習が可能であるならば、強い学習が準多項式時間で可能であることを証明し、また、ある回路クラスに擬似乱数関数が存在するかどうかは、そのクラスの学習可能性と同値であることを示している。

ABSTRACT

We study the power of randomized complexity classes that are given oracle access to a natural property of Razborov and Rudich (JCSS, 1997) or its special case, the Minimal Circuit Size Problem (MCSP). We show that in a number of complexity-theoretic results that use the SAT oracle, one can use the MCSP oracle instead. For example, we show that ZPEXP^{MCSP} !subseteq P/poly, which should be contrasted with the previously known circuit lower bound ZPEXP^{NP} !subseteq P/poly. We also show that, assuming the existence of Indistinguishability Obfuscators (IO), SAT and MCSP are equivalent in the sense that one has a ZPP algorithm if and only the other one does. We interpret our results as providing some evidence that MCSP may be NP-hard under randomized polynomial-time reductions.

研究の動機と目的

• 学習理論、回路複雑性、および擬似乱数性の間の隠れた関係を解明すること。
• ある回路クラスの非自明な学習が、部分指数的時間での強い学習可能性を意味することを確立すること。
• あるクラスに擬似乱数関数が存在しないことは、そのクラスの学習可能性と同値であることを示すこと。
• 非自明な学習アルゴリズムから新しい回路下界を導出すること。
• これらの関係が最小回路サイズ問題（MCSP）および自然証明に対して与える影響を調査すること。

提案手法

• 弱学習が部分指数的時間で可能であるならば、強い学習が準多項式時間で可能であることを示す「スピードアップ補題」を導入する。
• 学習スピードアップを用いて、確率的学習、圧縮、区別者モデルの間の同値性を確立する。
• 「学習はPRFの存在を排除する」原理の非一様な逆を適用し、学習可能性と指数的セキュリティを持つ擬似乱数関数の不在を結びつける。
• アドバイスに基づく学習補題を用いて、確率的クラスに対してKarp-Lipton型の崩壊を導出する。
• 真理値表還元を用いてMCSPをTC0-ハード問題に還元し、MCSP ∈ TC0 ならば NC1 = TC0 であることを示す。
• 最悪ケースから平均ケースへの還元およびランダム自己還元を用いて、複雑性クラス間で硬さを転送する。

実験結果

リサーチクエスチョン

• RQ1 ある回路クラスに対する非自明な学習アルゴリズムが、部分指数的時間での強い学習可能性を意味するか？
• RQ2 擬似乱数関数の存在とある回路クラスの学習可能性の間に、根本的な同値性が存在するか？
• RQ3 学習アルゴリズムを用いて新しい回路下界を導出可能か？
• RQ4 MCSPとTC0などの低レベルの回路クラスとの関係は何か？
• RQ5 学習、充足可能性、およびドレアム化の間の関係を、一般枠組みの下で統一できるか？

主な発見

• C[poly(n)] が時間 2^n / n^ω(1) でランダム化された弱学習アルゴリズムを備えるならば、任意の ε > 0 に対して時間 O(2^{n^ε}) で C[n^k] を高い精度で学習可能である。
• ある ε > 0 が存在し、C[2^{n^ε}] が時間 2^n / n^ω(1) で学習可能であることと、C[poly(n)] が時間 2^{(log n)^O(1)} で学習可能であることとは同値である。
• 非一様設定において、C[poly(n)] に対する非自明な学習は、C[poly(n)] に指数的セキュリティを持つ擬似乱数関数が存在しないことと同値である。
• （深さ-d）-C[n^k] が時間 2^n / n^ω(1) でメンバーシップクエリ付きの弱学習アルゴリズムを備えるならば、すべての k ≥ 1 に対して BPE ⊈ （深さ-d）-C[n^k] である。
• ある ε > 0 に対して P-自然証明が C[2^{n^ε}] に対して有用であるならば、ZPEXP ⊈ C[poly(n)] である。
• 非一様 NC1 のすべての関数は、TC0 計算可能かつ真理値表還元を用いて MCSP に還元可能である。ゆえに、MCSP ∈ TC0 ならば NC1 = TC0 である。