[論文レビュー] Effect of Activation Functions on the Training of Overparametrized Neural Nets

Abhishek Panigrahi, Abhishek Shetty+1 more|arXiv (Cornell University)|Aug 16, 2019

Stochastic Gradient Optimization Techniques参考文献 50被引用数 12

ひとこと要約

この論文は、合成データ上の過パラメータ化された2層ニューラルネットワークにおける、ReLU、ELU、Swish、tanhという異なる活性化関数が学習ダイナミクスに与える影響を調査する。平均二乗誤差損失と固定された出力重みを用いて、ReLUがゼロの訓練誤差に最も速く収束することが判明。次いでELU、Swish、tanhの順に遅く、収束速度は初期状態におけるグラム行列の固有値と強く相関している。

ABSTRACT

It is well-known that overparametrized neural networks trained using gradient-based methods quickly achieve small training error with appropriate hyperparameter settings. Recent papers have proved this statement theoretically for highly overparametrized networks under reasonable assumptions. These results either assume that the activation function is ReLU or they crucially depend on the minimum eigenvalue of a certain Gram matrix depending on the data, random initialization and the activation function. In the later case, existing works only prove that this minimum eigenvalue is non-zero and do not provide quantitative bounds. On the empirical side, a contemporary line of investigations has proposed a number of alternative activation functions which tend to perform better than ReLU at least in some settings but no clear understanding has emerged. This state of affairs underscores the importance of theoretically understanding the impact of activation functions on training. In the present paper, we provide theoretical results about the effect of activation function on the training of highly overparametrized 2-layer neural networks. A crucial property that governs the performance of an activation is whether or not it is smooth. For non-smooth activations such as ReLU, SELU and ELU, all eigenvalues of the associated Gram matrix are large under minimal assumptions on the data. For smooth activations such as tanh, swish and polynomials, the situation is more complex. If the subspace spanned by the data has small dimension then the minimum eigenvalue of the Gram matrix can be small leading to slow training. But if the dimension is large and the data satisfies another mild condition, then the eigenvalues are large. If we allow deep networks, then the small data dimension is not a limitation provided that the depth is sufficient. We discuss a number of extensions and applications of these results.

研究の動機と目的

• 過パラメータ化されたニューラルネットワークにおける活性化関数の選択が学習ダイナミクスに与える影響を理解すること。
• 過パラメータ化された状態において、活性化関数が収束速度に影響を与えるかどうかを調査すること。
• 初期状態におけるグラム行列の固有値が、学習速度に与える役割を分析すること。
• 制御されたラベル付けを施した合成データ上で、複数回の実験を繰り返し、ReLU、ELU、Swish、tanhを比較すること。
• 過パラメータ化された設定における固有値の大きさと収束行動の理論的期待とが整合することを検証すること。

提案手法

• 10^6 個のニューロンを含む1層目の2層ニューラルネットワークを、平均二乗誤差損失で学習する。
• 訓練中に出力層の重みを固定し、1層目の活性化の影響を隔離する。
• 合成データを用いる：S^1 上に等間隔に配置されたn個の点をS^9 に埋め込み、ランダムに±1のラベルを付与する。
• 5回のランダムな実験の平均を取って、エポックごとの二乗誤差損失を評価する。
• 初期状態におけるグラム行列Gを分析し、活性化関数ごとの固有値分布を調査する。
• 固有値の大きさとその訓練中の変化を比較し、収束速度の違いを説明する。

実験結果

リサーチクエスチョン

• RQ1 過パラメータ化された2層ネットワークにおいて、活性化関数の選択が収束速度にどのように影響するか？
• RQ2 初期状態におけるグラム行列の固有値が大きいほど、収束が速くなるという相関関係があるか？
• RQ3 ReLU、ELU、Swish、tanhは、時間経過に伴う訓練誤差の低減において、どのように比較されるか？
• RQ4 過パラメータ化された状態では、訓練中に固有値と固有ベクトルが安定しているか？
• RQ5 初期状態におけるグラム行列の性質が、活性化関数間での相対的な訓練性能を予測できるか？

主な発見

• ReLUは、ELU、Swish、tanhよりも顕著に速くゼロの訓練誤差に到達する。
• ELUはSwishやtanhよりも速く収束するが、ReLUほどではない。
• 初期状態におけるグラム行列の固有値は、ReLUとELUで最大で、tanhとSwishで最小である。
• 固有値と固有ベクトルは訓練全体を通してほぼ一定であり、過パラメータ化された状態であることが確認された。
• 収束速度の順序（ReLU > ELU > Swish > tanh）は、初期状態におけるグラム行列の固有値の大きさと直接相関している。
• 観察された学習ダイナミクスは、初期状態におけるグラム行列の構造と最適化速度の理論的期待と整合している。