[論文レビュー] Porcupine Neural Networks: (Almost) All Local Optima are Global

Soheil Feizi, Hamid Javadi+2 more|arXiv (Cornell University)|Oct 5, 2017

Neural Networks and Applications参考文献 33被引用数 26

ひとこと要約

この論文は、重み空間内の固定された直線上に隠れユニットの重みが制限される制約付き2層ニューラルネットワークアーキテクチャ、パルチン・ニューラルネットワーク（PNN）を導入する。著者らは、正規分布入力とReLU活性化関数の下で、PNNの大多数の局所最適解がグローバル最適解であることを証明し、PNNが多項式個のニューロンで非制約ネットワークを近似できることを示しており、勾配ベースの学習の成功に対する理論的裏付けを提供する。

ABSTRACT

Neural networks have been used prominently in several machine learning and statistics applications. In general, the underlying optimization of neural networks is non-convex which makes their performance analysis challenging. In this paper, we take a novel approach to this problem by asking whether one can constrain neural network weights to make its optimization landscape have good theoretical properties while at the same time, be a good approximation for the unconstrained one. For two-layer neural networks, we provide affirmative answers to these questions by introducing Porcupine Neural Networks (PNNs) whose weight vectors are constrained to lie over a finite set of lines. We show that most local optima of PNN optimizations are global while we have a characterization of regions where bad local optimizers may exist. Moreover, our theoretical and empirical results suggest that an unconstrained neural network can be approximated using a polynomially-large PNN.

研究の動機と目的

• ニューラルネットワークにおける非凸最適化の課題に取り組むために、重みを制約することで理論的解析を容易にする。
• 制約付きニューラルネットワークが最適化の多様性を保ちつつ、最適化の流れを単純化できるかどうかを調査する。
• 特定の条件下で、提案されたPNNアーキテクチャにおける大多数の局所最適解がグローバル最適解であることを示す。
• 非制約2層ReLUネットワークが、多項式個のニューロンでPNNによって近似可能であることを確立する。

提案手法

• 各隠れユニットの入力重みベクトルが重み空間内の固定された直線上に制限されるパルチン・ニューラルネットワーク（PNN）を導入する。
• 共通正規分布入力とReLU活性化関数を用いた2層PNNの母集団リスクの形状を分析する。
• ガウス変数が双対凸錐に制限されたときの共分散から導かれるカーネル関数を用いて、悪質な局所最適解が存在する領域を同定する。
• 角度ネット近似と幾何的議論を用いて、非制約関数とPNN関数の間の近似誤差を評価する。
• カーネル行列の一般化されたシュール補行列のスペクトルノルムを用いて、近似誤差の上限を導出する。
• 入力次元とニューロン数が同じ割合で増加する高次元漸近的状態において、PNNの近似誤差の漸近的挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 制約付きニューラルネットワークアーキテクチャを設計することで、その大多数の局所最適解がグローバル最適解になるようにできるか？
• RQ2 PNNの最適化の流れが悪質な局所最適解を避ける条件は何か？
• RQ3 非制約2層ReLUニューラルネットワークは、入力次元の多項式関数で増加するニューロン数を有するPNNによって近似可能か？
• RQ4 非制約ネットワークとそのPNN版との間の近似誤差の理論的上限は何か？
• RQ5 入力次元とニューロン数が増加するに従い、近似誤差はどのように漸近的に振る舞うか？

主な発見

• 仮定されたモデル条件の下で、PNNの大多数の局所最適解がグローバル最適解である。悪質な局所最適解は特定のパrameter領域に限定される。
• PNNのニューロン数が増加するにつれて、非制約2層ReLUネットワークとPNNとの間の近似誤差は減少する。実験結果では、中程度のサイズのPNNに対しても小さな誤差が得られている。
• 近似誤差は、カーネル行列の一般化されたシュール補行列のスペクトルノルムによって上限が与えられ、一般化性能に関する理論的知見が得られる。
• 入力次元と隠れニューロン数が同じ割合で増加する高次元的状態において、近似誤差の漸近的極限が明示的に計算可能である。
• ナイーブなミニマックス近似境界では指数的多数のPNNニューロンを必要とするが、PNNフレームワークは多項式スケーリングを達成しており、顕著な利点を示している。
• 数値結果により、多項式個のニューロンを有するPNNが、中程度の入力次元に対しても非制約ネットワークの近似において低い平均二乗誤差を達成できることを確認した。