[論文レビュー] How important are activation functions in regression and classification? A survey, performance comparison, and future directions

Ameya D. Jagtap, George Em Karniadakis|arXiv (Cornell University)|Sep 6, 2022

Machine Learning in Materials Science被引用数 12

ひとこと要約

本サーベイは、回帰および分類のための深層学習における活性化関数の役割を調査し、固定型（例：ReLU）と自己適応型（例：Rowdy、Swish）の関数をさまざまなタスクで比較する。ReLUの変種は、微分の問題があるため、物理学に基づく機械学習（PIML）では性能を発揮しないが、正弦関数、tanh、および自己適応型関数は優れた性能を発揮する。特にマルチスケールPDE問題において顕著であり、JAXのおかげで、より高い精度と効率性が実現される。

ABSTRACT

Inspired by biological neurons, the activation functions play an essential part in the learning process of any artificial neural network commonly used in many real-world problems. Various activation functions have been proposed in the literature for classification as well as regression tasks. In this work, we survey the activation functions that have been employed in the past as well as the current state-of-the-art. In particular, we present various developments in activation functions over the years and the advantages as well as disadvantages or limitations of these activation functions. We also discuss classical (fixed) activation functions, including rectifier units, and adaptive activation functions. In addition to discussing the taxonomy of activation functions based on characterization, a taxonomy of activation functions based on applications is presented. To this end, the systematic comparison of various fixed and adaptive activation functions is performed for classification data sets such as the MNIST, CIFAR-10, and CIFAR- 100. In recent years, a physics-informed machine learning framework has emerged for solving problems related to scientific computations. For this purpose, we also discuss various requirements for activation functions that have been used in the physics-informed machine learning framework. Furthermore, various comparisons are made among different fixed and adaptive activation functions using various machine learning libraries such as TensorFlow, Pytorch, and JAX.

研究の動機と目的

• 分類および回帰タスクにおける活性化関数の影響を体系的に評価すること。
• 物理学に基づく機械学習（PIML）において、古典的な固定型活性化関数（例：ReLU）の限界、特に微分の要件に関する問題を特定すること。
• 複数のデータセット（MNIST、CIFAR-10、CIFAR-100）および機械学習フレームワーク（TensorFlow、PyTorch、JAX）を対象に、固定型と自己適応型の活性化関数を比較すること。
• 科学計算およびマルチスケールモデリングを重視した、応用ベースの活性化関数の新規分類法を提唱すること。
• 将来の方向性を検討すること。具体的には、量子化された自己適応型活性化関数や、スパikingニューラルネットワークとの統合による、より高い効率性と生物学的妥当性の向上。

提案手法

• 古典的（例：ReLU、ELU、シグモイド、tanh）および最新の自己適応型活性化関数（例：Swish、Rowdy、正弦関数ベース）の包括的サーベイを実施。
• TensorFlow、PyTorch、JAXを用いて、標準的な分類ベンチマーク（MNIST、CIFAR-10、CIFAR-100）における性能を体系的に比較。
• 物理学に基づく機械学習（PIML）フレームワークにおいて、活性化関数の性能を評価。特に、クリーンなデータおよびノイズのあるデータを用いたPDEの解法における精度に注目。
• 固定型活性化関数におけるスペクトルバイアス問題を分析し、自己適応型および正弦関数ベースの関数（例：Rowdy）がどのようにこれを軽減するかを評価。
• JAXのJITコンパイルおよびヘッセ行列計算の能力を活用し、PIMLモデルの高精度・高効率なトレーニングを可能にする。
• 動的パラメータを持つ自己適応型活性化関数を導入・テストし、損失関数の形状を変化させ、局所最適解や飽和を回避する。

Figure 1: Notable historical developments over the years related to the activation function.

実験結果

リサーチクエスチョン

• RQ1 固定型活性化関数（例：ReLU）とその変種は、分類タスクにおいて自己適応型活性化関数と比較してどのように性能を発揮するか？
• RQ2 分類タスクで成功を収めたにもかかわらず、なぜReLUベースの活性化関数は物理学に基づく機械学習（PIML）フレームワークで失敗するのか？
• RQ3 マルチスケールPDEを解くために適している活性化関数の主な特性は何か？
• RQ4 機械学習フレームワーク（TensorFlow、PyTorch、JAX）の選択が、PIMLにおけるさまざまな活性化関数の性能にどのように影響を与えるか？
• RQ5 自己適応型活性化関数は、スペクトルバイアス問題を克服し、高周波数またはマルチスケール問題における一般化性能を向上させることができるか？

主な発見

• ReLUおよびその変種は、MNIST、CIFAR-10、CIFAR-100における分類タスクでは最先端の性能を発揮するが、微分不能な導関数の問題があるため、物理学に基づく機械学習（PIML）では性能が著しく劣る。
• 双曲正接関数、Swish、および正弦関数ベースの関数（例：Rowdy）は、PIMLタスク、特にマルチスケール問題においてReLUを上回る性能を発揮する。
• 自己適応型活性化関数、特にRowdyは、基本的な活性化関数に正弦波ノイズを注入することで、スペクトルバイアス問題を効果的に軽減する。
• JAXは、ヘッセ行列計算およびJITコンパイルの優位性のおかげで、TensorFlowやPyTorchと比較してPIMLにおける予測精度を1桁以上向上させる。
• 2次までの最適化手法（例：AdaHessian）はJAX上でより効率的に実装可能であり、複雑なPDEの解法において、収束速度の向上と性能の向上を実現する。
• 量子化された自己適応型活性化関数は、大規模モデルにおける計算コストを削減しつつ性能を維持するための有望な方向性である。

Figure 2: Biological (top) vs artificial (bottom) neurons.