[論文レビュー] E-swish: Adjusting Activations to Different Network Depths

Eric Alcaide|arXiv (Cornell University)|Jan 22, 2018

Advanced Neural Network Applications参考文献 8被引用数 13

ひとこと要約

本稿では、スケーリングパラメータ $eta$ を導入した、$ f(x) = \beta x \cdot \text{sigmoid}(x) $ で定義される学習可能な活性化関数 E-swish を提案する。これは、Swish を一般化したものであり、$eta$ を学習可能にすることで、より柔軟な非線形性を実現する。実験の結果、CIFAR-10 および CIFAR-100 において、ReLU や Swish よりも優れた性能を示し、WRN-10-2 では ReLU よりもそれぞれ 1.5% および 4.6% の精度向上を達成した。最適な $eta$ 値は $1 \leq \beta \leq 2$ の範囲にあった。

ABSTRACT

Activation functions have a notorious impact on neural networks on both training and testing the models against the desired problem. Currently, the most used activation function is the Rectified Linear Unit (ReLU). This paper introduces a new and novel activation function, closely related with the new activation $Swish = x * sigmoid(x)$ (Ramachandran et al., 2017) which generalizes it. We call the new activation $E-swish = βx * sigmoid(x)$. We show that E-swish outperforms many other well-known activations including both ReLU and Swish. For example, using E-swish provided 1.5% and 4.6% accuracy improvements on Cifar10 and Cifar100 respectively for the WRN 10-2 when compared to ReLU and 0.35% and 0.6% respectively when compared to Swish. The code to reproduce all our experiments can be found at https://github.com/EricAlcaide/E-swish

研究の動機と目的

• 深層ネットワークにおける ReLU や Swish の限界を解消するため、より適応性の高い活性化関数を導入すること。
• Swish 関数を学習可能なパrameter $\beta$ でスケーリングすることで、学習ダイナミクスとモデル精度が向上するかどうかを調査すること。
• 標準的な CNN アーキテクチャにおいて、ハイパーパrameterの再チューニングなしに ReLU の即時置換として E-swish を評価すること。
• 勾配の消失や爆発を防ぎつつ、性能向上を最大化するための $eta$ の最適範囲を特定すること。
• 特に WRN-16-4 のような深いモデルにおいて、さまざまなネットワークの深さとアーキテクチャで一貫した性能向上を示すかどうかを検証すること。

提案手法

• E-swish を $ f(x) = \beta x \cdot \text{sigmoid}(x) $ として提案し、学習可能なスケーリングパラメータ $\beta$ を備えた Swish の一般化とすること。
• E-swish の解析的勾配を $ f'(x) = f(x) + \sigma(x)(\beta - f(x)) $ として導出し、$eta$ に依存する非単調な挙動を示すこと。
• WRN-10-2 および WRN-16-4 アーキテクチャを用いて、CIFAR-10 および CIFAR-100 で標準的な訓練プロトコル（SGD、学習率スケジュール）を適用すること。
• 公平な比較を保つために、ReLU 専用に設計された同じハイパーパramータを用い、活性化関数のみを置き換えること。
• E-swish を用いた深層ネットワークの収束を安定化させるためにバッチ正則化を導入すること。
• 複数の $eta$ 値（1.0 から 2.0）を用いて性能を検証し、異なるアーキテクチャやデータセットにおける最適スケーリングを同定すること。

実験結果

リサーチクエスチョン

• RQ1 学習可能なパrameter $\beta$ を用いて Swish 活性化関数をスケーリングすることで、ネットワークの深さにかかわらず、ReLU や Swish よりも一貫した性能向上が得られるか？
• RQ2 勾配の消失や爆発を回避しつつ、モデル精度を最大化するための $eta$ の最適範囲は何か？
• RQ3 E-swish はハイパーパramータの再チューニングなしに、ReLU の即時置換として機能し、ReLU や Swish を上回る性能を発揮できるか？
• RQ4 WRN-16-4 のような深いアーキテクチャにおいて、CIFAR-100 で E-swish は ReLU や Swish よりも優れた性能を示すか？
• RQ5 E-swish の非単調な性質が、深層ネットワークにおけるより良い勾配伝搬とより速い収束に寄与しているか？

主な発見

• WRN-10-2 において、E-swish は CIFAR-100 で ReLU よりも 1.5% 高いテスト精度を達成し、Swish よりも 0.35% 高かった。$eta = 1.5$ 時。
• WRN-16-4 を用いた CIFAR-100 では、E-swish は $eta = 1.25$ 時に 77.35% の精度を達成し、ReLU（75.92%）より 1.43%、Swish より 0.47% の向上を示した。
• E-swish の性能向上は、複数の $eta$ 値において一貫しており、最適性能は $1 \leq \beta \leq 2$ の範囲で観察された。
• 高い $eta$ 値（例：$eta = 2$）は性能の低下を引き起こし、勾配の大きさと安定性のトレードオフがあることを示唆した。
• ハイパーパramータを ReLU 専用にチューニングした場合でも、E-swish は常に ReLU や Swish を上回った。これは、そのロバストネスと一般化性能を示している。
• E-swish の非単調な性質と滑らかな勾配プロファイルは、深層ネットワークにおけるより良い学習ダイナミクスと収束性の向上に寄与していることが関連づけられた。