[論文レビュー] Superpolynomial Lower Bounds for Learning One-Layer Neural Networks using Gradient Descent

Surbhi Goel, Aravind Gollakota+3 more|arXiv (Cornell University)|Jun 22, 2020

Stochastic Gradient Optimization Techniques参考文献 27被引用数 14

ひとこと要約

この論文は、ガウス分布の下で勾配降下法を用いた1層ニューラルネットワークの学習に関して、初めての超多項式下界を確立した。球対称分布の下で正確に直交するニューラルネットワークの族を構築することで、勾配降下法および統計的クエリアルゴリズムが、テスト誤差を低くするためには超多項式時間が必要であることを証明した。これは、ReLUおよびシグモイド活性化関数に対しても成り立ち、この設定では多項式時間での効率的学習が不可能であることを排除する。

ABSTRACT

We prove the first superpolynomial lower bounds for learning one-layer neural networks with respect to the Gaussian distribution using gradient descent. We show that any classifier trained using gradient descent with respect to square-loss will fail to achieve small test error in polynomial time given access to samples labeled by a one-layer neural network. For classification, we give a stronger result, namely that any statistical query (SQ) algorithm (including gradient descent) will fail to achieve small test error in polynomial time. Prior work held only for gradient descent run with small batch sizes, required sharp activations, and applied to specific classes of queries. Our lower bounds hold for broad classes of activations including ReLU and sigmoid. The core of our result relies on a novel construction of a simple family of neural networks that are exactly orthogonal with respect to all spherically symmetric distributions.

研究の動機と目的

• ガウス分布の下で勾配降下法が1層ニューラルネットワークを学習するために要する時間の無条件下界を確立すること。
• 過パラメータ化されたネットワークを勾配降下法で訓練しても、多項式時間内に効率的に一般化できないことを示すこと。
• これらの結果を統計的クエリ（SQ）モデルに拡張し、内積クエリを用いる任意のSQアルゴリズムが超多項式時間が必要であることを示すこと。
• 球対称分布の下で正確に直交するニューラルネットワークの族を構築し、下界の構築を可能にすること。
• 平方損失またはロジスティック損失に対して勾配降下法で多項式サイズのネットワークを訓練するという標準的な深層学習手法による効率的学習が、この設定では不可能であることを排除すること。

提案手法

• 標準ガウス分布を含む任意の球対称分布の下で、ReLUまたはシグモイド活性化関数を備えた1層ニューラルネットワークの族を構築し、それらが互いに正確に直交することを保証する。
• この直交性を用いて、低誤差を達成するためには少なくとも $ n^{ ilde{ heta}( ext{poly}( ext{log}~m))} $ 個のクエリが必要となる概念クラスを構築する。
• 統計的クエリ（SQ）モデルを活用し、内積クエリに依存するアルゴリズム（例：勾配降下法）が超多項式時間が必要であることを示す。
• 母集団損失の勾配が、許容度 $ au $ の統計的クエリによって近似可能であることを証明し、SQ下界と勾配降下法の性能を結びつける。
• SDA（統計的クエリ次元）および内積クエリの複雑さに基づく一般化されたSQ下界フレームワークを適用し、最終的な下界を導出する。
• 回帰および分類タスクの両方で、過パラメータ化されたネットワークを勾配降下法で訓練した実験を行い、訓練誤差は低くてもテスト誤差が高くなることを確認した。

実験結果

リサーチクエスチョン

• RQ1 標準ガウス分布の下で、勾配降下法はReLUまたはシグモイド活性化関数を備えた1層ニューラルネットワークを効率的に学習できるか？
• RQ2 ネットワークが過パラメータ化されているか、NTK領域にあろうと、勾配降下法に対しても超多項式下界が成立するか？
• RQ3 勾配降下法に基づく統計的クエリアルゴリズムは、このようなネットワークを多項式時間で学習できるか？
• RQ4 最適化ヒューリスティクスとは無関係に、データと関数クラスの幾何的性質が1層ネットワーク学習に根本的な制限をもたらすか？
• RQ5 標準的な深層学習手法（平方損失またはロジスティック損失に対して多項式サイズのネットワークを勾配降下法で訓練）は、この設定では一般化を効率的に行えないか？

主な発見

• 本論文は、標準ガウス分布の下で、内積クエリを用いる任意の統計的クエリアルゴリズムが、1層ReLUまたはシグモイドネットワークを学習するために $ n^{ ilde{ heta}( ext{poly}( ext{log}~m))} $ 個のクエリを必要とすることを証明した。
• 分類タスクでは、$ m $ 個の隠れユニットを持つ1層ネットワークを、優位性 $ rac{1}{2} - ilde{ heta}(m^{-b}) $ で学習するには $ n^{ ilde{ heta}( ext{log}~m)} $ 個のクエリが必要であり、多項式時間での学習が不可能であることを示した。
• 下界は無条件であり、分類器のアーキテクチャに依存せず、アルゴリズム（勾配降下法またはSQ）にのみ依存する。
• 球対称分布の下で正確に直交する関数族の構築が、下界の証明の中心的役割を果たす。
• 実験により理論が裏付けられた：過パラメータ化されたネットワークは近似的にゼロの訓練誤差を達成するが、高いテスト誤差を維持し、超多項式下界と整合的である。
• 結果は回帰（平方損失）および分類（ソフトマックス出力の符号）の両方の設定に拡張可能であり、一般的な訓練手法が一般化を効率的に行えないことを示している。