[論文レビュー] Activation function impact on Sparse Neural Networks

Adam Dubowski|arXiv (Cornell University)|Oct 12, 2020

Neural Networks and Applications参考文献 22被引用数 7

ひとこと要約

本研究は、CIFAR-10 データセット上で Sparse Evolutionary Training (SET) により訓練されたスパースニューラルネットワーク (SNN) における活性化関数の影響を調査する。すべてのスパースネスレベルにおいて、SReLU が一貫して他の活性化関数を上回ることを発見した。一方、ReLU と Softplus は中程度のスパースネス（71.2% および 88.5%）で最高の性能を発揮し、SELU は極端なスパースネス（98.85%）で最良の性能を示した。

ABSTRACT

While the concept of a Sparse Neural Network has been researched for some time, researchers have only recently made notable progress in the matter. Techniques like Sparse Evolutionary Training allow for significantly lower computational complexity when compared to fully connected models by reducing redundant connections. That typically takes place in an iterative process of weight creation and removal during network training. Although there have been numerous approaches to optimize the redistribution of the removed weights, there seems to be little or no study on the effect of activation functions on the performance of the Sparse Networks. This research provides insights into the relationship between the activation function used and the network performance at various sparsity levels.

研究の動機と目的

• 異なるスパースネスレベルにおけるスパースニューラルネットワーク (SNN) の性能に及ぼすさまざまな活性化関数の影響を調査すること。
• 密集型ネットワークで一般的に使用される活性化関数が、スパースアーキテクチャでも有効であるかどうかを特定すること。
• さまざまなスパースネスレベルにおける活性化関数ごとの過学習行動を分析すること。
• モデルの精度と一般化性能を向上させるために、最適な活性化関数とスパースネスの組み合わせを特定すること。
• 研究者および実務家が SNN 実装において活性化関数を選択する際の実証的ガイダンスを提供すること。

提案手法

• 7種類の活性化関数（ReLU、Sigmoid、SELU、SReLU、Tanh、Softplus、Softsign）を用いたスパースネススイープを実施。
• CIFAR-10 データセット上で Sparse Evolutionary Training (SET) アルゴリズムを用いて、5つのスパースネスレベル（71.2% から 98.85%）および1つの密集型ベースラインでモデルを訓練。
• 訓練エポックにわたる検証精度と損失関数スコアを測定してモデルのパフォーマンスを評価。
• 活性化関数とスパースネスレベルごとに訓練および検証のパフォーマンストレンドを比較することで、過学習を分析。
• スパースネスレベルごとの関数的挙動を比較するため、精度および過学習のチャートを可視化。
• 標準化されたトレーニングフレームワークを用いて、SNN における活性化関数の影響を一貫して評価。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 活性化関数は、SNN のスパースネススイープおよび精度にどのような影響を与えるか？
• RQ2 RQ2: SNN 実装において、特定の活性化関数を優先すべきか？
• RQ3 RQ3: 過学習問題は、さまざまな活性化関数を用いた SNN に異なる影響を及えるか？
• RQ4 RQ4: スパースネスレベルごとの精度および一般化性能の観点から、活性化関数はどのように性能を発揮するか？
• RQ5 RQ5: スパース環境下での活性化関数間のパフォーマンス差の背後にある要因は何か？

主な発見

• SReLU は、すべてのスパースネスレベルで最高の精度を達成し、一貫性があり頑健な性能を示した。
• ReLU と Softplus は、それぞれ 71.2% および 88.5% のスパースネスレベルで最高の精度を記録し、密集型バージョンを上回った。
• SELU は、最高のスパースネスレベル（98.85%）で最も優れた性能を示したが、密集型レベルでは高い学習率のため、訓練が不安定になった。
• Sigmoid のパフォーマンスはスパースネスが増加するにつれて低下し、ゼロ中心でない性質と飽和問題が原因であると推測される。
• スパースネスが増加するにつれて過学習が減少した。ReLU と SReLU は最も持続的な過学習を示したが、Softplus はスパースネス誘発型正則化の影響を最も強く受けた。
• 極端なスパースネス（98.85%）では、すべての活性化関数がアンダーフィットを示した。これは、スパースネスそのものだけではパフォーマンス向上に限界があることを示している。