[論文レビュー] Learning Deep ReLU Networks Is Fixed-Parameter Tractable

Sitan Chen, Adam R. Klivans+1 more|arXiv (Cornell University)|Sep 28, 2020

Stochastic Gradient Optimization Techniques参考文献 48被引用数 5

ひとこと要約

本稿では、ガウス入力下での深層ReLUネットワークの学習に対して、最初の固定パラメータを用いた多項式時間アルゴリズムを提示する。次元に関する多項式時間であり、深さ、サイズ、スペクトルノルム、リプシッツ定数などのネットワークパラメータに関する指数的依存のみを有する。本稿では、トロピカル幾何学を活用したフィルタードPCA技術を導入し、隠れ層の部分空間を回復することで、勾配ベースの手法が失敗する状況でも適切な学習を可能にする。

ABSTRACT

We consider the problem of learning an unknown ReLU network with respect to Gaussian inputs and obtain the first nontrivial results for networks of depth more than two. We give an algorithm whose running time is a fixed polynomial in the ambient dimension and some (exponentially large) function of only the network's parameters. Our bounds depend on the number of hidden units, depth, spectral norm of the weight matrices, and Lipschitz constant of the overall network (we show that some dependence on the Lipschitz constant is necessary). We also give a bound that is doubly exponential in the size of the network but is independent of spectral norm. These results provably cannot be obtained using gradient-based methods and give the first example of a class of efficiently learnable neural networks that gradient descent will fail to learn. In contrast, prior work for learning networks of depth three or higher requires exponential time in the ambient dimension, even when the above parameters are bounded by a constant. Additionally, all prior work for the depth-two case requires well-conditioned weights and/or positive coefficients to obtain efficient run-times. Our algorithm does not require these assumptions. Our main technical tool is a type of filtered PCA that can be used to iteratively recover an approximate basis for the subspace spanned by the hidden units in the first layer. Our analysis leverages new structural results on lattice polynomials from tropical geometry.

研究の動機と目的

• ガウス入力下での深層ReLUネットワークの効率的学習という長年の課題に取り組むこと、特に深さ >2 の場合に焦点を当てる。
• 勾配ベースの手法の限界を克服すること。これは、パラメータが有界であっても特定のReLUネットワークを学習できないという事実に基づく。
• 標本数および実行時間の両方が次元に関して多項式であり、ネットワークパラメータ（サイズ、深さ、スペクトルノルム、リプシッツ定数など）に関しては指数的のみに依存する、形式的に効率的なアルゴリズムを提供すること。
• 従来の深さ2のReLU学習で必要とされた、重み行列が良好に条件付けられていることや正の係数が要求されるといった制限付き仮定を排除すること。

提案手法

• 条件付き期待値とスペクトルフィルタリングを用いて、1層目の隠れユニットが張る部分空間の近似基底を繰り返し回復するフィルタードPCAアルゴリズムを提案する。
• ネットワーク出力および入力射影の大きさをしきい値処理することで、関連する部分空間を隔離する、新しいフィルタリング機構を採用する。
• フィルタリングされたデータにおける低ランク構造を推定するためにApproxBlockSVDをサブルーチンとして用い、濃度不等式を用いて実行時間および標本数の複雑さを制御する。
• 格子多項式に関するトロピカル幾何学の構造的結果を活用し、ReLU活性化関数の幾何学的性質およびそれらの相互作用を分析する。
• 有界パラメータ空間内での可能なアーキテクチャを探索するために、ネットワーク構造のパrameter化された列挙（EnumerateNetworks）を導入する。
• すでに特定された部分空間への射影のノルムに条件づける再帰的分解戦略を適用し、新たな隠れ方向を隔離する。

実験結果

リサーチクエスチョン

• RQ1 深さが2を超える場合であっても、環境次元に関して多項式時間で深層ReLUネットワークを学習できるか？
• RQ2 スペクトルノルムとリプシッツ定数が有界であるReLUネットワークを、勾配ベースでないアルゴリズムが効率的に学習できるか？
• RQ3 従来の深さ2の学習アルゴリズムで必要とされた、正の重みや良好に条件付けられた行列といった制限付き仮定を回避できるか？
• RQ4 パラメータが有界であっても、勾長ベースの手法が特定のReLUネットワークを学習できない理由は何か？そして、その理由を形式的に特徴づけられるか？
• RQ5 ReLUネットワークのどのような構造的性質が、固定パラメータを用いた多項式時間学習を可能にするのか？そして、幾何学的・代数的ツールをどのように活用できるか？

主な発見

• アルゴリズムの標本数複雑さは $ d/\log(1/\nu) \cdot \mathrm{poly}(e^{k^{3}\Lambda^{2}/\varepsilon^{2}}, 2^{kS}, B^{(L+2)k}/\Lambda^{k}) $ であり、次元 $ d $ に関して多項式であり、ネットワークパラメータに関しては指数的のみに依存する。
• 実行時間は $ \widetilde{O}(d^{2}\log(1/\delta)) \cdot \mathrm{poly}(e^{k^{3}S^{2}\Lambda^{2}/\varepsilon^{2}}, 2^{kS^{3}}, (B^{L+2}/\Lambda)^{kS^{2}}) $ であり、次元に関して固定パラメータを用いた多項式時間であることが確認される。
• 勾配降下法が失敗するネットワークを、本手法は形式的に学習可能であり、スペクトルノルムとリプシッツ定数が有界であっても同様である。
• 本アルゴリズムは、正の係数や良好に条件付けられた重みを必要としない。これは、従来の深さ2の学習アルゴリズムで必要とされていた条件である。
• フィルタードPCAは、条件付き期待値とスペクトルフィルタリングを活用し、理論的保証のもとで隠れ層の部分空間を回復する。その根拠はトロピカル幾何学に由来する。
• 分析により、リプシッツ定数への依存は必須であることが示され、これを除くと情報理論的に不可能になる。