[논문 리뷰] Data-aware customization of activation functions reduces neural network error

Fuchang Gao, Boyu Zhang|arXiv (Cornell University)|2023. 01. 16.

Machine Learning in Materials Science인용 수 5

한 줄 요약

이 논문은 부분적으로 교환 가능한 목표 함수를 위한 '갑자기' 활성화 함수 log(1 + x²)를 도입하여 신경망 오차를 줄이기 위해 데이터 인식 기반의 활성화 함수 커스터마이제이션을 제안한다. 선형 대수학과 Diaconis-Shahshahani 근사 정리의 활용을 통해, 심지어 활성화 함수조차도 예측의 대칭성을 유지함으로써 회귀 과제에서 오차를 최대 한 계단 정도 감소시킨다. 특히 교환 가능한 변수를 처리하는 첫 번째 레이어에 적용했을 때 두드러진 성능 향상이 나타난다.

ABSTRACT

Activation functions play critical roles in neural networks, yet current off-the-shelf neural networks pay little attention to the specific choice of activation functions used. Here we show that data-aware customization of activation functions can result in striking reductions in neural network error. We first give a simple linear algebraic explanation of the role of activation functions in neural networks; then, through connection with the Diaconis-Shahshahani Approximation Theorem, we propose a set of criteria for good activation functions. As a case study, we consider regression tasks with a partially exchangeable target function, \emph{i.e.} $f(u,v,w)=f(v,u,w)$ for $u,v\in \mathbb{R}^d$ and $w\in \mathbb{R}^k$, and prove that for such a target function, using an even activation function in at least one of the layers guarantees that the prediction preserves partial exchangeability for best performance. Since even activation functions are seldom used in practice, we designed the ``seagull'' even activation function $\log(1+x^2)$ according to our criteria. Empirical testing on over two dozen 9-25 dimensional examples with different local smoothness, curvature, and degree of exchangeability revealed that a simple substitution with the ``seagull'' activation function in an already-refined neural network can lead to an order-of-magnitude reduction in error. This improvement was most pronounced when the activation function substitution was applied to the layer in which the exchangeable variables are connected for the first time. While the improvement is greatest for low-dimensional data, experiments on the CIFAR10 image classification dataset showed that use of ``seagull'' can reduce error even for high-dimensional cases. These results collectively highlight the potential of customizing activation functions as a general approach to improve neural network performance.

연구 동기 및 목표

• 표준 신경망의 일반화 능력 부족 문제를 해결하기 위해 도메인 특화의 구조적 지식을 활성화 함수 설계에 통합한다.
• 특히 대칭성과 같은 구조적 특성(예: 부분적 교환 가능성)을 기반으로 데이터 구조에 맞게 활성화 함수를 커스터마이즈하여 모델 성능을 향상시킨다.
• 심지어 활성화 함수조차도 구조적 데이터에서 정확한 예측에 필수적인 기능적 대칭성을 유지할 수 있음을 보여준다.
• 아키텍처 변경 없이도 적용 가능한 실용적인 플러그 앤 플레이 활성화 함수인 '갑자기'를 개발한다.
• CIFAR10과 같은 고차원 데이터셋을 포함한 다양한 회귀 문제에서 접근 방식의 타당성을 검증한다.

제안 방법

• 신경망 근사 문제를 활성화 함수를 통한 질량 증강 문제로 선형 대수학적으로 재정의한다.
• Diaconis-Shahshahani 근사 정리를 활용해 효과적인 활성화 함수의 이론적 기준을 유도한다.
• 심지어 활성화 함수가 목표 함수 f(u,v,w) = f(v,u,w)의 부분적 교환 가능성을 유지함을 증명한다.
• 이론적 기준을 충족하고 짝수 대칭성을 보장하기 위해 g(x) = log(1 + x²) 형태의 '갑자기' 활성화 함수를 설계한다.
• 재학습이나 손실 함수 수정 없이 기존 신경망에 '갑자기' 함수를 간단히 통합한다.
• 다양한 차원성, 부드러움, 곡률 및 교환 가능성 수준을 가진 26개 이상의 회귀 과제에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 데이터 인식 기반 활성화 함수 커스터마이제이션이 회귀 과제에서 신경망 오차를 크게 줄일 수 있는가?
• RQ2 짝수 활성화 함수를 사용할 경우 목표 함수의 부분적 교환 가능성이 유지되어 성능 향상이 이루어지는가?
• RQ3 '갑자기' 활성화 함수 log(1 + x²)는 표준 활성화 함수와 비교해 오차 감소 측면에서 어떻게 성능을 내는가?
• RQ4 교환 가능한 변수를 처리하는 첫 번째 레이어에 '갑자기' 함수를 적용했을 때 성능 향상이 가장 두드러지는가?
• RQ5 이 접근 방식은 CIFAR10과 같은 고차원 데이터, 예를 들어 이미지 분류 문제에 일반화 가능한가?

주요 결과

• 표준 활성화 함수를 '갑자기' 함수 log(1 + x²)로 대체함으로써, 여러 회귀 과제에서 오차가 한 계단 정도 감소했다.
• 교환 가능한 변수가 처음 연결되는 레이어에 '갑자기' 함수를 적용했을 때 오차 감소 효과가 가장 두드러졌다.
• 원래의 활성화 함수, 손실 함수, 최적화 알고리즘, 데이터 노이즈 수준에 관계없이 일관된 성능 향상이 관찰되었다.
• CIFAR10과 같은 고차원 환경에서도 '갑자기' 함수는 오차를 감소시켰지만, 저차원 사례에 비해 성능 향상 폭은 더 작았다.
• 이론적 분석을 통해 짝수 활성화 함수가 부분적 교환 가능성을 유지함을 확인하였으며, 이는 성능 향상의 근본적 이유를 설명한다.
• 실증 결과는 '갑자기' 함수가 동일한 학습 조건 하에서 표준 ReLU 및 기타 일반 활성화 함수를 능가함을 입증했다.