[論文レビュー] On the Impact of the Activation Function on Deep Neural Networks Training

Soufiane Hayou, Randal Douc+1 more|arXiv (Cornell University)|Feb 19, 2019

Neural Networks and Applications被引用数 68

ひとこと要約

本論文は活性化関数の選択と重み初期化、特にChaosの端（EOC）での初期化が信号伝播と深層ネットワークの訓練速度に与える影響を分析し、滑らかな活性化とEOC調整パラメータが訓練を加速することを示している。

ABSTRACT

The weight initialization and the activation function of deep neural networks have a crucial impact on the performance of the training procedure. An inappropriate selection can lead to the loss of information of the input during forward propagation and the exponential vanishing/exploding of gradients during back-propagation. Understanding the theoretical properties of untrained random networks is key to identifying which deep networks may be trained successfully as recently demonstrated by Samuel et al (2017) who showed that for deep feedforward neural networks only a specific choice of hyperparameters known as the `Edge of Chaos' can lead to good performance. While the work by Samuel et al (2017) discuss trainability issues, we focus here on training acceleration and overall performance. We give a comprehensive theoretical analysis of the Edge of Chaos and show that we can indeed tune the initialization parameters and the activation function in order to accelerate the training and improve the performance.

研究の動機と目的

• 活性化関数と初期化が深層ネットワークにおける前方信号伝播へ与える影響を評価する。
• 様々な活性化関数に対するEdge of Chaos (EOC) を特徴づけ、それが訓練ダイナミクスに及ぼす影響を評価する。
• 訓練を加速するために、EOC上の最適点を見つけ利用する手順を提案する。
• 理論と実験を通じて、滑らかな活性化がReLU様の関数より深い領域での性能を発揮することを示す。
• 初期化と活性化選択の実用的なガイドラインを提供し、訓練効率を向上させる。

提案手法

• 無限幅/有限分散の regime でガウス過程としてニューラルネットをモデル化し、カーネル/分散の再帰を導出する。
• Fと相関関数cを、活性化依存変換を用いた層ごとの再帰を通じて定義・解析する。
• 情報伝播に対する影響を研究する条件 chi1 = sigma_w^2 E[phi'(sqrt(q)Z)^2] = 1 によってEdge of Chaosを特徴づける。
• ReLU様と滑らかな活性化関数について、EOC上での相関収束速度を詳述（例: O(1/l^2) vs O(1/l)）
• クラスAの滑らかな活性化が相関の減衰を遅くし（O(1/l)）、勾配伝播を改善する一方、ReLUではEOC上で残差のような挙動を示すことを証明する。
• 与えられたphiに対するEOC曲線を計算するアルゴリズム（Algorithm 1）を提供し、EOCベースの実用的初期化規則を導出する（例: Depthとbeta_qを揃える）。
• MNISTとCIFAR-10で、EOC、EOC+BN、整列相初期化を、活性化関数（ReLU、ELU、Tanh）間で比較する実験を行う。

実験結果

リサーチクエスチョン

• RQ1 深層ネットワークにおける前方信号伝播と勾配フローに対する活性化関数の形状（ReLU様 vs 滑らかさ）の影響はどのようか。
• RQ2 さまざまな活性化関数におけるChaosの端（EOC）とは何か、どのように計算し訓練を加速するために活用できるか。
• RQ3 滑らかな活性化はReLU様より深い信号伝播を可能にするか、層を通じた相関の収束速度はどうなるか。
• RQ4 訓練の深さと速度を最適化するための初期化パラメータ(sigma_b, sigma_w)をEOC上で選択する実用的ガイドラインを導出できるか。
• RQ5 BatchNormなしのEOC初期化と比較して、EOC初期化で訓練速度と精度にどんな実証的な向上があるか。

主な発見

活性化関数	MNIST EOC (テスト精度 %)	MNIST EOC+BN (テスト精度 %)	MNIST 整列相 (テスト精度 %)	CIFAR10 EOC (テスト精度 %)	CIFAR10 EOC+BN (テスト精度 %)	CIFAR10 整列相 (テスト精度 %)
ReLU	93.57 ± 0.18	93.11 ± 0.21	10.09 ± 0.61	36.55 ± 1.15	35.91 ± 1.52	9.91 ± 0.93
ELU	97.62 ± 0.21	93.41 ± 0.30	10.14 ± 0.51	45.76 ± 0.91	44.12 ± 0.93	10.11 ± 0.65
Tanh	97.20 ± 0.30	10.74 ± 0.10	10.02 ± 0.13	44.11 ± 1.02	10.15 ± 0.85	9.82 ± 0.88

• 深層ネットワークをEOC上で初期化すると、情報伝播と訓練速度が向上する。
• EOC上のReLU様活性化は相関伝播で残差のような挙動を示し、相関が1へ向かう収束が多項式的に遅くなる（1/l^2），整列相では指数的衰減と対比。
• 滑らかな活性化関数（例: Tanh, ELU, SiLU）は、EOCでの相関収束をO(1/l)の速さで進め、深い設定でReLUより優れる。
• 滑らかな活性化はEOC上でsigma_b, sigma_w平面上の曲線を形成するが、ReLUは一点に収束し、最適なEOC点をアルゴリズム的に計算可能（Algorithm 1）。
• 深さLとほぼ一致する深さスケールbeta_qを確保するようにsigma_bを選ぶと、前方伝播と勾配安定性のバランスが取り訓練性能が向上する。
• MNISTとCIFAR-10の実証結果では、BatchNormなしのEOC初期化が、深さ200、幅300で100エポックのの場合に最良の検証精度を示すことが多く、滑らかな活性化はReLUより優れている。