[論文レビュー] From average case complexity to improper learning complexity

Amit Daniely, Nati Linial+1 more|arXiv (Cornell University)|Nov 10, 2013

Machine Learning and Algorithms参考文献 27被引用数 6

ひとこと要約

本稿は、ランダムな制約充足問題（CSP）の平均的複雑さへ還元することにより、不正しく学習する（improper learning）ことの難易度を示す新しい技法を導入する。一般化されたフェイジ型の仮定の下で、著者らは強い下界を確立し、DNFの学習、定数近似比でのハーフスペースのアンチグノスティック学習、およびω(1)個のハーフスペースの積集合の学習が、ブール立方体上でも計算的に非効率的であることを示している。

ABSTRACT

The basic problem in the PAC model of computational learning theory is to determine which hypothesis classes are efficiently learnable. There is presently a dearth of results showing hardness of learning problems. Moreover, the existing lower bounds fall short of the best known algorithms. The biggest challenge in proving complexity results is to establish hardness of {\em improper learning} (a.k.a. representation independent learning).The difficulty in proving lower bounds for improper learning is that the standard reductions from $\mathbf{NP}$-hard problems do not seem to apply in this context. There is essentially only one known approach to proving lower bounds on improper learning. It was initiated in (Kearns and Valiant 89) and relies on cryptographic assumptions. We introduce a new technique for proving hardness of improper learning, based on reductions from problems that are hard on average. We put forward a (fairly strong) generalization of Feige's assumption (Feige 02) about the complexity of refuting random constraint satisfaction problems. Combining this assumption with our new technique yields far reaching implications. In particular, 1. Learning $\mathrm{DNF}$'s is hard. 2. Agnostically learning halfspaces with a constant approximation ratio is hard. 3. Learning an intersection of $ω(1)$ halfspaces is hard.

研究の動機と目的

• 計算学習理論における、既知の最良の学習アルゴリズムと、証明された下界との間の長年のギャップを埋めるため。
• 標準的なNP困難性還元が失敗する不正しく学習する問題の難易度を示す課題を克服するため。
• 暗号的仮定に依存しない不正しく学習する問題に対する下界を証明するための新しい手法論を構築するため。
• フェイジの3-SATの反証に関する仮定を、より広範なCSPクラスへ一般化し、より強い複雑性結果を得るため。
• 本手法の有効性を示すために、DNF やハーフスペースの積集合といった基本的な学習問題における非効率性を証明するため。

提案手法

• 特定の述語Pと制約比C > 0を持つランダムCSPの反証が平均的に困難であるという、一般化されたフェイジ型の仮定を提唱する。
• 実現可能とランダムに不実現可能なサンプルを区別する難易度と、不正しく学習する問題の非効率性との間の還元フレームワークを導入する。
• 統計的ゼロ知識証明（SZKP）フレームワークを用いて、NP困難問題がランダムCSPの反証に還元できるならば、多項式階層が崩壊することを示す。
• 一般化されたフェイジ仮定の下で、DNF やハーフスペースの積集合の学習問題が、反証問題からの還元によって困難であることを確立する。
• 回路におけるエントロピーとランダムネスに関する既知の結果を活用し、学習インスタンスの情報理論的複雑性を限界づける。
• 還元を適用して、言語Lが高値のCSPインスタンスとランダムCSPインスタンスを区別する問題に還元できるならば、Lは統計的ゼロ知識証明を持つことを示す。

実験結果

リサーチクエスチョン

• RQ1 暗号的仮定に依存せずに、不正しく学習する問題の難易度を証明できるか？
• RQ2 ランダムCSPの反証における平均的困難性が、学習における非効率性を示すのに十分か？
• RQ3 フェイジの3-SATに関する仮定を一般化することで、自然な学習問題に対するより強い下界を証明できるか？
• RQ4 ランダムCSPの反証に還元できれば、多項式階層が崩壊するか？
• RQ5 この新技法により、DNF やハーフスペースの積集合といった基本的な学習問題における非効率性を確立できるか？

主な発見

• 一般化されたフェイジ型の仮定の下で、DNFの学習は計算的に非効率的である。不正しく学習しても同様である。
• 定数近似比でのハーフスペースのアンチグノスティック学習は、ブール立方体上でも困難である。
• ω(1)個のハーフスペースの積集合の学習は、同じ仮定の下で非効率的である。
• この技法により、NP困難問題がC > 0の制約を持つランダムCSPの反証に還元できるならば、多項式階層が崩壊する。
• 本手法は、暗号的仮定に依存しない学習理論における下界証明の新しいルートを提供し、自然な学習問題に適用可能である。
• これらの結果は、現在の既知のアルゴリズムと下界とのギャップが、妥当な平均的複雑性仮定の下では本質的である可能性を示唆している。