[論文レビュー] Eigenvalue Decay Implies Polynomial-Time Learnability for Neural Networks

Surbhi Goel, Adam R. Klivans|arXiv (Cornell University)|Aug 11, 2017

Machine Learning and Algorithms参考文献 38被引用数 7

ひとこと要約

この論文は、入力データのグラム行列における固有値の減衰が、悪知恵（非実現可能）設定下でも、深層ニューラルネットワークの多項式時間学習を可能にすることを確立している。カーネル法とニストロームサンプリングを活用することで、著者らは強い固有値の減衰がモデルの複雑さへの依存を軽減することを示し、構造的仮定なしにReLUおよびシグモイドネットワークのための効率的アルゴリズムを提示している。

ABSTRACT

We consider the problem of learning function classes computed by neural networks with various activations (e.g. ReLU or Sigmoid), a task believed to be computationally intractable in the worst-case. A major open problem is to understand the minimal assumptions under which these classes admit provably efficient algorithms. In this work we show that a natural distributional assumption corresponding to {\em eigenvalue decay} of the Gram matrix yields polynomial-time algorithms in the non-realizable setting for expressive classes of networks (e.g. feed-forward networks of ReLUs). We make no assumptions on the structure of the network or the labels. Given sufficiently-strong polynomial eigenvalue decay, we obtain {\em fully}-polynomial time algorithms in {\em all} the relevant parameters with respect to square-loss. Milder decay assumptions also lead to improved algorithms. This is the first purely distributional assumption that leads to polynomial-time algorithms for networks of ReLUs, even with one hidden layer. Further, unlike prior distributional assumptions (e.g., the marginal distribution is Gaussian), eigenvalue decay has been observed in practice on common data sets.

研究の動機と目的

• 悪知恵（非実現可能）設定下で深層ニューラルネットワークの多項式時間学習を可能にするために必要な最小限の分布的仮定を同定すること。
• 最悪ケースの仮定下での深層ネットワーク学習の計算的非効率性を克服するため、固有値の減衰という、新たな経験的根拠に基づく条件を導入すること。
• 固有値の減衰が、ReLUアーキテクチャのような表現力の高いネットワークに対しても、より良い標本複雑性と実行時間の改善をもたらすことを示すこと。
• この仮定が実用的に観察可能であり、かつ理論的にも効率的学習に十分であることを示し、ガウス型マージンといった従来の仮定とは対照的に、それが実現可能であることを示すこと。
• 固有値の減衰とアルゴリズムの実行可能性の間の関係を、ネットワーク科学におけるべき乗則グラフが効率的解法を可能にするのと同様の枠組みで確立すること。

提案手法

• 著者らは、既知のカーネル構築法を用いて、ニューラルネットワークの関数クラスを再生核ヒルベルト空間（RKHS）に埋め込む。
• 正規化されたグラム行列 $ K/m $ が、$ i $ が大きいとき $ \rho_i \to O(i^{-p}) $ と成り、$ p $ が減衰の強さを制御するという仮定の下で、カーネルリッジ回帰問題を分析する。
• ニストロームサンプリングを圧縮手法として用いることで、カーネル問題の有効次元を低減し、効率的な計算を可能にする。
• 標本複雑性は $ m = \tilde{O}(B^{1/p}/\epsilon^{2+3/p}) $ として導出され、ここで $ B $ はRKHSノルムの上限、$ \epsilon $ は誤差許容度である。
• 指数的減衰 $ \lambda_i \approx O(e^{-i}) $ の場合、標本複雑性は $ \tilde{O}(\log B / \epsilon^2) $ に簡略化され、完全な多項式時間アルゴリズムが得られる。
• この手法はReLUおよびシグモイドネットワークに適用可能であり、重みノルムと活性化関数の構造的境界から得られる減衰要件が導出される。

実験結果

リサーチクエスチョン

• RQ1 グラム行列の固有値の減衰が、深層ニューラルネットワークの多項式時間学習の十分条件として機能できるか？
• RQ2 古典的な分布的仮定（例：ガウス型マージン）と比較して、固有値の減衰は実用的関連性とアルゴリズム的効率性においてどのように異なるか？
• RQ3 ReLUおよびシグモイドネットワークの効率的学習を達成するために、固有値の減衰の最小レートは何か？
• RQ4 この仮定により、実現可能性や構造的制約なしに、悪知恵設定下で完全な多項式時間アルゴリズムが得られるか？
• RQ5 減衰レートは、異なるネットワークの深さや幅に対して、標本複雑性と実行時間にどのように影響を与えるか？

主な発見

• 多項式的減衰 $ \lambda_i \approx O(i^{-p}) $ の場合、標本複雑性は $ \tilde{O}(B^{1/p}/\epsilon^{2+3/p}) $ であり、$ p $ が十分に大きいと、すべてのパラメータに関して多項式的になる。
• 指数的減衰 $ \lambda_i \approx O(e^{-i}) $ の場合、標本複雑性は $ \tilde{O}(\log B / \epsilon^2) $ に低下し、完全な多項式時間アルゴリズムが得られる。
• 球面 $ \mathbb{S}^{n-1} $ 上の1つのReLUに対して、$ B = 2^{\tau/\epsilon} $ であり、$ p \geq \xi/\epsilon $ であれば多項式時間学習が可能である。
• サイズ $ \ell $ の1層隠れ層ReLUネットワークに対して、$ O(i^{-\ell/\epsilon}) $ の固有値減衰が多項式時間学習に十分である。
• シグモイドネットワークでは、必要な減衰は $ O(i^{-\sqrt{\ell} \log(\sqrt{\ell}/\epsilon)}) $ であり、より高い複雑性を反映している。
• 結果は、二乗損失に関して悪知恵設定下でも成立し、アルゴリズムの実行時間は $ \mathsf{poly}(n, 1/\epsilon, \log(1/\delta)) $ である。