[論文レビュー] Complexity theoretic limitations on learning DNF's

Amit Daniely, Shai Shalev-Shwatz|arXiv (Cornell University)|Apr 13, 2014

Machine Learning and Algorithms参考文献 26被引用数 16

ひとこと要約

本稿は、O(n)個の節を含むランダムなK-SAT式の反証が難しいという自然な平均ケース複雑性仮定の下で、DNF式の学習、ω(log n)個の半空間の積、および他の基本的な学習問題の計算的硬さを確立する。先行研究の枠組みを用いて、このような式の反証が非効率的であるならば、標準的な分布フリーな仮定のもとで、これらのクラスの効率的学習は、アグノスティック設定ですら不可能であることを示している。

ABSTRACT

Using the recently developed framework of [Daniely et al, 2014], we show that under a natural assumption on the complexity of refuting random K-SAT formulas, learning DNF formulas is hard. Furthermore, the same assumption implies the hardness of learning intersections of $ω(\log(n))$ halfspaces, agnostically learning conjunctions, as well as virtually all (distribution free) learning problems that were previously shown hard (under complexity assumptions).

研究の動機と目的

• 自然な平均ケース複雑性仮定の下で、DNF式や関連する概念クラスの学習に関する計算的硬さ結果を確立すること。
• PAC学習における既知のアルゴリズム性能と硬さ結果のギャップを、ランダムK-SAT反証に関する自然な仮定を用いて埋めること。
• DanielyとShalev-Shwartz (2014)の枠組みを拡張し、well-motivatedな仮定に基づいて強力な分布フリーの下界を導出すること。
• 複数の基本的なクラス（例：半空間の積、論理積、パリティ）の学習の硬さが、1つの広く研究された仮定から導かれることが示されること。
• 可能な限り暗号的仮定に依存しない、学習硬さの統一的な複雑性理論的基盤を提供すること。

提案手法

• DanielyとShalev-Shwartz (2014)の複雑性理論的学習枠組みを採用し、学習問題を実現可能サンプルとランダムサンプルを区別する問題に還元する。
• 新たな仮定を導入：O(n)個の節を含むランダムK-SAT式の反証が難しい。これはK=3の場合のFeigeの仮定を一般化する。
• この仮定を用いて、実現可能サンプルと(q(n), β)-散らばった分布からのサンプルを区別する問題の難易度に還元することで、DNFの学習が難しいことを証明する。
• 同様の還元手法を用いて、ω(log n)個の半空間の積、論理積のアグノスティック学習、および他のクラスの硬さを示す。
• 節の違反を繰り返しチェックする有限オートマトンの構成を用い、DNF関数が小さなオートマトンによって実現可能であることを示す。
• 仮定に反する効率的なK-SAT反証アルゴリズムの存在を示すことで、矛盾を導出する。

実験結果

リサーチクエスチョン

• RQ1 どのような自然な平均ケース複雑性仮定の下で、DNF式の学習が計算的に硬いかを証明できるか？
• RQ2 暗号的仮定に依存せずに、ω(log n)個の半空間の積の学習の硬さを確立できるか？
• RQ3 ランダムK-SAT反証が難しいという仮定のもとで、論理積および半空間のアグノスティック学習は硬いか？
• RQ4 [14]の枠組みを強化し、広く研究された、非人工的な仮定に基づく硬さ結果を得られるか？
• RQ5 広範な分布フリー学習問題の硬さを示すために必要な最小限の仮定は何か？

主な発見

• O(n)個の節を含むランダムK-SAT式の反証が難しいという仮定の下で、DNF式の学習は計算的に硬い。
• 同じ仮定のもとで、ブール立方体上でも、ω(log n)個の半空間の積の学習は硬い。
• 同じ仮定のもとで、論理積のアグノスティック学習は硬く、暗号的仮定に依存しない硬さ結果が得られる。
• 同じK-SAT反証仮定のもとで、データ分布が一様であっても、半空間およびパリティのアグノスティック学習は硬い。
• 同じ仮定は、有限オートマトンの学習の硬さを示し、枠組みの適用範囲を拡張する。
• 結果として、より強いまたは不自然な仮定のもとでこれまでに硬さが示されたほぼすべての（分布フリーな）学習問題の硬さが確立される。