[論文レビュー] Hardness of Noise-Free Learning for Two-Hidden-Layer Neural Networks

Sitan Chen, Aravind Gollakota+2 more|arXiv (Cornell University)|Feb 10, 2022

Machine Learning and Algorithms被引用数 6

ひとこと要約

この論文は、ノイズのない設定下でガウス分布入力に対する2層隠れ層ReLUニューラルネットワークの学習に関して、初めての非条件的超多項式統計的クエリ（SQ）下界を確立した。ダニェリとヴァルディのリフト技術を精緻化することで、ヴェンパラとウィルムズが提示した既知の障壁を克服し、この浅いアーキテクチャですら、効率的なSQ学習が不可能であることを証明した。同時に、学習と丸めの学習（LWR）仮定の下で暗号的困難性の結果も得られた。

ABSTRACT

We give superpolynomial statistical query (SQ) lower bounds for learning two-hidden-layer ReLU networks with respect to Gaussian inputs in the standard (noise-free) model. No general SQ lower bounds were known for learning ReLU networks of any depth in this setting: previous SQ lower bounds held only for adversarial noise models (agnostic learning) or restricted models such as correlational SQ. Prior work hinted at the impossibility of our result: Vempala and Wilmes showed that general SQ lower bounds cannot apply to any real-valued family of functions that satisfies a simple non-degeneracy condition. To circumvent their result, we refine a lifting procedure due to Daniely and Vardi that reduces Boolean PAC learning problems to Gaussian ones. We show how to extend their technique to other learning models and, in many well-studied cases, obtain a more efficient reduction. As such, we also prove new cryptographic hardness results for PAC learning two-hidden-layer ReLU networks, as well as new lower bounds for learning constant-depth ReLU networks from label queries.

研究の動機と目的

• 1層隠れ層ネットワークの既知の困難性結果と、ノイズのない設定下での2層隠れ層ネットワークの学習可能性という未解決問題との間のギャップを埋めること。
• ヴェンパラとウィルムズが示したように、一般のSQ下界が実数値・非退化ニューラルネットワーク族に適用できないという従来の障壁を克服すること。
• 多項式有界重みを持つ2層隠れ層ReLUネットワークの学習に関して、非条件的SQ下界と暗号的困難性結果を両方確立すること。
• ダニェリ＝ヴァルディのリフトフレームワークの適用範囲を、完全なSQ学習およびラベルクエリモデルに拡張すること。
• 標準的な暗号的仮定の下で、定数深さReLUネットワークのラベルクエリからの学習が困難であることを示すこと。

提案手法

• ダニェリ＝ヴァルディのリフト手順を精緻化し、ブールPAC学習問題をガウス問題に還元することで、一般のSQ下界を可能にした。
• ブール関数の構造を保ちつつ、ReLUネットワークを用いてガウス空間に埋め込むリフト写像を構築した。
• 上昇した関数を用いて、ガウス設定下でのSQクエリおよびラベルクエリをシミュレートし、元のブール問題の困難性を保持した。
• TC⁰およびACC⁰における既知の擬似乱数関数（PRF）構成を活用し、より深いReLUネットワークの暗号的困難性を導出した。
• 任意のラベルクエリモデルにおける効率的学習者がPRFを破る手段として利用可能であることを証明し、標準仮定の下で不可能性を示した。
• 任意のSQアルゴリズムが超多項式クエリ数または無視できるクエリ許容誤差を必要とすることを示すことで、SQ下界が暗号的仮定に依存せず、非条件的に成立することを確立した。

実験結果

リサーチクエスチョン

• RQ1 ノイズのないガウス設定下で、2層隠れ層ReLUネットワークの学習に関して、超多項式SQ下界を証明できるか。これまでの結果がこのような下界が不可能であると示唆しているにもかかわらず。
• RQ2 ダニェリとヴァルディのリフト技法が、相関性SQを越えて完全な統計的クエリモデルへも拡張可能か。
• RQ3 学習と丸めの学習（LWR）仮定のような標準仮定の下で、ReLUネットワークの学習に関する暗号的困難性結果を確立できるか。
• RQ4 擬似乱数関数構成を用いて、ラベルクエリからの定数深さReLUネットワークの学習が困難であることを証明できるか。
• RQ5 ヴェンパラとウィルムズが特定した非退化性障壁を乗り越え、実数値ニューラルネットワークに対して一般のSQ下界を証明できるか。

主な発見

• 本論文は、標準ガウス分布上での2層隠れ層ReLUネットワークの学習に関して、初めての非条件的超多項式SQ下界を確立した。
• 任意のSQアルゴリズムが、多項式サイズ（poly(d)）の2層隠れ層ReLUネットワークを、二乗損失1/poly(d)の精度で学習するには、少なくともd^ω(1)回のクエリを実行するか、無視できるクエリ許容誤差を持つ必要がある。
• SQ下界は暗号的仮定に依存せず、非条件的に成立しており、ノイズのない設定下でこのような下界が不可能であるという従来の常識を覆した。
• 学習と丸めの学習（LWR）仮定の下で暗号的困難性が確立され、2層隠れ層ReLUネットワークの学習はLWRを破るのと同程度の困難さであることが示された。
• 定数深さReLUネットワークのラベルクエリ学習は、標準的なPRF仮定の下で困難であることが示され、深さ6のネットワークはDDH仮定の下で、深さO(1)のネットワークはLWE仮定の下で困難である。
• 著者らは、ダニェリ＝ヴァルディのリフトフレームワークを、完全なSQおよびラベルクエリモデルをサポートするように拡張し、ブール学習からガウス学習への新たな還元を可能にした。