[논문 리뷰] How important are activation functions in regression and classification? A survey, performance comparison, and future directions

Ameya D. Jagtap, George Em Karniadakis|arXiv (Cornell University)|2022. 09. 06.

Machine Learning in Materials Science인용 수 12

한 줄 요약

이 종합 검토는 회귀 및 분류 작업에서 딥러닝의 활성화 함수의 역할을 조사하며, 고정형(예: ReLU)과 적응형(예: Rowdy, Swish) 함수를 비교한다. 연구 결과, ReLU 유형은 파동학적 정보 기반 기계학습에서 도함수 문제로 인해 성능이 열 劣하나, 사인, 탄젠트 하이퍼볼릭 및 적응형 함수는 특히 다스케일 PDE 문제에서 뛰어나며, JAX는 뛰어난 정확도와 효율성을 제공한다.

ABSTRACT

Inspired by biological neurons, the activation functions play an essential part in the learning process of any artificial neural network commonly used in many real-world problems. Various activation functions have been proposed in the literature for classification as well as regression tasks. In this work, we survey the activation functions that have been employed in the past as well as the current state-of-the-art. In particular, we present various developments in activation functions over the years and the advantages as well as disadvantages or limitations of these activation functions. We also discuss classical (fixed) activation functions, including rectifier units, and adaptive activation functions. In addition to discussing the taxonomy of activation functions based on characterization, a taxonomy of activation functions based on applications is presented. To this end, the systematic comparison of various fixed and adaptive activation functions is performed for classification data sets such as the MNIST, CIFAR-10, and CIFAR- 100. In recent years, a physics-informed machine learning framework has emerged for solving problems related to scientific computations. For this purpose, we also discuss various requirements for activation functions that have been used in the physics-informed machine learning framework. Furthermore, various comparisons are made among different fixed and adaptive activation functions using various machine learning libraries such as TensorFlow, Pytorch, and JAX.

연구 동기 및 목표

• 분류 및 회귀 작업 전반에서 활성화 함수의 영향을 체계적으로 평가하는 것.
• 특히 도함수 요구 조건 문제로 인해 고전적 고정형 활성화 함수(예: ReLU)가 물리학 기반 기계학습(PIML)에서 가지는 한계를 규명하는 것.
• MNIST, CIFAR-10, CIFAR-100 등의 여러 데이터셋과 TensorFlow, PyTorch, JAX 등의 기계학습 프레임워크에서 고정형 및 적응형 활성화 함수를 비교하는 것.
• 과학 계산 및 다스케일 모델링에 중점을 두어 응용 기반의 새로운 활성화 함수 분류 체계를 제안하는 것.
• 향후 방향성 탐색, 특히 양자화된 적응형 활성화 함수와 스파iking 신경망 통합을 통한 효율성 향상 및 생물학적 타당성 향상

제안 방법

• 고전적(예: ReLU, ELU, 시그모이드, 탄젠트 하이퍼볼릭) 및 현대적 적응형 활성화 함수(예: Swish, Rowdy, 사인 기반)에 대한 종합적 검토 수행.
• TensorFlow, PyTorch, JAX를 사용하여 표준 분류 벤치마크(MNIST, CIFAR-10, CIFAR-100)에서 체계적인 성능 비교 수행.
• 물리학 기반 기계학습(PIML) 프레임워크에서 활성화 함수의 성능 평가를 수행하며, 청소하고 노이즈가 있는 데이터로 PDE 해결 정확도에 중점을 둔다.
• 고정형 활성화 함수의 스펙트럼 편향 문제를 분석하고, 적응형 및 사인 기반 함수(예: Rowdy)가 이를 어떻게 완화하는지 평가.
• JAX의 JIT 컴파일 및 헤시안 계산 기능을 활용하여 PIML 모델의 고정밀도, 고효율 훈련을 가능하게 한다.
• 동적 매개변수를 가진 적응형 활성화 함수를 도입하고 테스트하여 손실 곡면을 재구성함으로써 국소 최소값과 포화를 피하는 데 기여

Figure 1: Notable historical developments over the years related to the activation function.

실험 결과

연구 질문

• RQ1 ReLU 및 그 유형과 같은 고정형 활성화 함수는 분류 작업에서 적응형 활성화 함수에 비해 어떻게 성능을 내는가?
• RQ2 ReLU 기반 활성화 함수는 분류 작업에서 성공을 거두었음에도 불구하고, 왜 물리학 기반 기계학습(PIML) 프레임워크에서 실패하는가?
• RQ3 다스케일 PDE를 해결하는 데 적합한 활성화 함수의 핵심 특성은 무엇인가?
• RQ4 기계학습 프레임워크 선택(TensorFlow, PyTorch, JAX)이 PIML에서 다양한 활성화 함수의 성능에 어떤 영향을 미치는가?
• RQ5 적응형 활성화 함수는 스펙트럼 편향 문제를 극복하고 고주파 또는 다스케일 문제에서 일반화 성능을 향상시킬 수 있는가?

주요 결과

• ReLU 및 그 유형은 MNIST, CIFAR-10, CIFAR-100에서 분류 작업에 최상의 성능를 보였지만, 도함수가 비연속인 문제로 인해 물리학 기반 기계학습에서 성능이 열 劣하다.
• 쌍곡선탄젠트, Swish, 사인 기반 함수(예: Rowdy)는 PIML 작업에서 특히 다스케일 문제에서 ReLU를 능가한다.
• 특히 Rowdy와 같은 적응형 활성화 함수는 기본 활성화 함수에 사인 노이즈를 주입함으로써 스펙트럼 편향 문제를 효과적으로 완화한다.
• JAX는 헤시안 계산 및 JIT 컴파일 성능이 뛰어나, TensorFlow 및 PyTorch 대비 PIML에서 예측 정확도를 한 계급 수준 향상시킨다.
• AdaHessian와 같은 고차원 최적화 방법은 JAX에서 더 효율적으로 구현되어 복잡한 PDE 해결에서 더 빠른 수렴과 뛰어난 성능을 달성한다.
• 양자화된 적응형 활성화 함수는 성능을 유지하면서도 대규모 모델의 계산 비용을 줄일 수 있는 유망한 방향이다.

Figure 2: Biological (top) vs artificial (bottom) neurons.