[論文レビュー] Hardness of Learning Neural Networks with Natural Weights

Amit Daniely, Gal Vardi|arXiv (Cornell University)|Jun 5, 2020

Stochastic Gradient Optimization Techniques参考文献 35被引用数 8

ひとこと要約

この論文は、球面上の正規分布や一様分布などの自然な分布から抽出された重みをもつ深さ2のニューラルネットワークが、RSAT仮定のもとで、重みが良好でランダムであっても、実際に学習することが証明可能に難しいことを示している。結果として、このような重みの普遍的かつ高確率に成り立つ性質が、効率的な学習を可能にするものではないことが明らかになった。これは、実験的成果と最悪ケースの難易度の間の理論的ギャップを解消するものである。

ABSTRACT

Neural networks are nowadays highly successful despite strong hardness results. The existing hardness results focus on the network architecture, and assume that the network's weights are arbitrary. A natural approach to settle the discrepancy is to assume that the network's weights are "well-behaved" and posses some generic properties that may allow efficient learning. This approach is supported by the intuition that the weights in real-world networks are not arbitrary, but exhibit some "random-like" properties with respect to some "natural" distributions. We prove negative results in this regard, and show that for depth-$2$ networks, and many "natural" weights distributions such as the normal and the uniform distribution, most networks are hard to learn. Namely, there is no efficient learning algorithm that is provably successful for most weights, and every input distribution. It implies that there is no generic property that holds with high probability in such random networks and allows efficient learning.

研究の動機と目的

• ニューラルネットワークの実験的成功と、それらの学習に関する強い理論的難易度結果との間の矛盾を解消すること。
• 自然な重み分布（例：正規分布、球面上の一様分布）が、普遍的かつ高確率に成り立つ性質を提供することで、効率的な学習を可能にするかを調査すること。
• 自然な重み分布のもとでも、入力分布にかかわらず、大多数のネットワークが学習に困難であることを確立すること。
• ランダムフィルタと単位出力重みをもつ畳み込みネットワークに対しても、難易度結果を拡張すること。

提案手法

• 学習問題を、ランダムK-SAT式の反証の難易度（RSAT仮定）に還元する。
• 入力サンプルを保持する再現可能性と散乱性を保つために、ランダムな直交変換を用いる。
• 自然な重みをモデル化するため、重みベクトルの分布（例：球面上の一様分布、多変量正規分布）を構築する。
• 行列変換による次元削減を用いて、入力ノルムを制御し、再現可能性を維持する。
• 符号付き畳み込みネットワーク（sign-CNN）の再現可能性をSCAT問題に還元し、自然な重み分布のもとでRSAT難易度を示す。
• 変換された入力のノルムの上限を分析し、ターゲット分布の要件を満たす半径内に収まるように保証する。

実験結果

リサーチクエスチョン

• RQ1 正規分布、球面上の一様分布などの自然な分布から抽出された重みをもつ深さ2のニューラルネットワークは、効率的に学習可能か？
• RQ2 高確率に成り立つ重みの普遍的性質が、このようなネットワークの効率的学習を可能にするか？
• RQ3 第一層がランダムフィルタと単位出力重みをもつ畳み込み層である場合でも、難易度は維持されるか？
• RQ4 異なる入力分布に対しても、難易度結果は頑健か？
• RQ5 RSAT仮定を用いることで、自然な重み分布のもとでの学習の難易度を証明できるか？

主な発見

• 多変量正規分布、球面上の一様分布、またはi.i.d.正規/一様/Bernoulli成分から抽出された重みをもつ深さ2ネットワークでは、重みの上での高確率に学習が困難である。
• 入力分布にかかわらず、この難易度は成り立つため、自然な重みの普遍的かつ高確率に成り立つ性質が、効率的な学習を可能にするものではない。
• 還元により、このようなネットワークの学習はRSAT難易度であることが示された。これは、ランダムK-SATの反証が困難であると仮定すれば成り立つ。
• 非オーバーラップパッチとランダムフィルタをもつ畳み込みネットワークに対しても、同じ仮定のもとで学習が困難であることが拡張された。
• 直交変換のもとで、変換された入力のノルムは有界を保ち、還元が必要な幾何的制約を維持する。
• 分析により、良好でランダムな重みであっても、普遍的に成功する効率的な学習アルゴリズムは存在しないことが確認された。