[論文レビュー] Algorithms and SQ Lower Bounds for PAC Learning One-Hidden-Layer ReLU Networks

Ilias Diakonikolas, Daniel M. Kane+2 more|arXiv (Cornell University)|Jun 22, 2020

Machine Learning and Algorithms参考文献 30被引用数 10

ひとこと要約

本稿は、ガウス周辺分布下で正の重みをもつ1層隠れ層ReLUネットワークに対する、初めての多項式時間PAC学習アルゴリズムを提示する。このアルゴリズムは、高々 $\tilde{O}(\sqrt{\log d})$ 個の隠れユニットに対して効率的な学習を達成する。さらに、任意の実数係数をもつネットワークに対して、統計的クエリ（SQ）下界 $d^{\Omega(k)}$ を確立し、正の係数と一般の係数設定の間での計算的分離を示している。

ABSTRACT

We study the problem of PAC learning one-hidden-layer ReLU networks with $k$ hidden units on $\mathbb{R}^d$ under Gaussian marginals in the presence of additive label noise. For the case of positive coefficients, we give the first polynomial-time algorithm for this learning problem for $k$ up to $ ilde{O}(\sqrt{\log d})$. Previously, no polynomial time algorithm was known, even for $k=3$. This answers an open question posed by~\cite{Kliv17}. Importantly, our algorithm does not require any assumptions about the rank of the weight matrix and its complexity is independent of its condition number. On the negative side, for the more general task of PAC learning one-hidden-layer ReLU networks with arbitrary real coefficients, we prove a Statistical Query lower bound of $d^{Ω(k)}$. Thus, we provide a separation between the two classes in terms of efficient learnability. Our upper and lower bounds are general, extending to broader families of activation functions.

研究の動機と目的

• ガウス分布とラベルノイズ下での1層隠れ層ReLUネットワークに対する、証明可能な効率的学習のギャップを埋めること。
• 重み行列の構造に関する仮定を一切行わない状況下で、任意の実数係数をもつReLUネットワークに対して、効率的PAC学習が可能かどうかを特定すること。
• 正の係数をもつReLUネットワークと一般実数係数をもつReLUネットワークの学習可能性の間の計算的分離を確立すること。
• 結果をReLUを超えて、より広範な活性化関数の族へと拡張すること。

提案手法

• ガウス周辺分布下で正係数ReLUネットワークを学習するための、モーメント推定とエルミート多項式展開に基づく新しいアルゴリズムフレームワークを開発する。
• 回転および対称性操作の下での関数の挙動を解析することで、ヒルベルト空間におけるエルミート基底における統計的クエリ（SQ）モデリングを用いて下界を証明する。
• 活性化関数の $k$-パリティパート分解を用い、下界構築が非消滅成分を生じる条件を特定する。
• 回転作用素 $R_k$ と符号付き和作用素 $S_k$ を用い、SQクエリに対して耐性を示す非自明な成分を関数空間で検出する。
• エルミート展開および内積の性質を活用し、特定の関数クラスがSQ手法では効率的に学習できないことを示す。
• ReLUおよびシグモイド活性化関数に対して、$S_k\phi$ 演算子が弱い条件下でも非ゼロであることを証明し、困難なインスタンスの構築を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ガウス周辺分布下で正の重みをもつ1層隠れ層ReLUネットワークに対して、多項式時間PAC学習アルゴリズムは存在するか？
• RQ2 同じ分布的仮定下で、任意の実数係数をもつReLUネットワークに対しても、効率的PAC学習が達成可能か？
• RQ3 一般係数をもつ1層隠れ層ReLUネットワークの学習における統計的クエリ複雑度は何か？
• RQ4 同じフレームワーク下で、ReLUネットワークの学習可能性特性は他の活性化関数と比べてどう異なるか？
• RQ5 SQ下界を用いて、正係数ネットワークと一般係数ネットワークの間の計算的ギャップを形式的に確立できるか？

主な発見

• 本稿は、ガウス周辺分布下で正係数をもつ1層隠れ層ReLUネットワークに対する、初めての多項式時間PAC学習アルゴリズムを提示する。このアルゴリズムは、$k = \tilde{O}(\sqrt{\log d})$ 個の隠れユニットに対して有効である。
• アルゴリズムの複雑度は重み行列の条件数に依存せず、重み行列のランクに関する仮定も必要としない。
• 任意の実数係数をもつネットワークの学習に対して、$d^{\Omega(k)}$ の統計的クエリ下界が証明され、$k = \omega(1)$ の場合に効率的SQアルゴリズムが存在しないことを示唆する。
• 下界構築は、ReLUおよびシグモイド活性化関数に対して $S_k\phi$ 演算子が非消滅することに依存しており、これは活性化関数の $k$-パリティパートが低次の多項式でない場合に成立する。
• 結果はより広範な活性化関数の族へと拡張可能であり、正係数と一般係数の間の計算的ギャップが、活性化関数のスペクトル的性質に起因することを示している。
• 本研究は、学習可能性における形式的な分離を確立した：同じ分布的仮定下で、正係数ネットワークは効率的に学習可能だが、一般係数ネットワークはそうではない。