[논문 리뷰] A Modified Activation Function with Improved Run-Times For Neural Networks

V.I.E Anireh, Emmanuel N. Osegi|arXiv (Cornell University)|2016. 07. 06.

Neural Networks and Applications참고 문헌 16인용 수 3

한 줄 요약

이 논문은 전이수 e를 정수 근사값으로 대체하는 수정된 하이퍼볼릭 tangent 활성화 함수를 제안한다. 이 근사값은 이차 실수 공식(RNF) 알고리즘을 통해 유도되며, 기울기 소멸 문제를 완화하기 위해 적응형 정규화를 결합한다. 이 방법은 합성 및 실세계 데이터셋 모두에서 더 빠른 학습 실행 시간과 향상된 학습 정확도를 달성하여 성능을 저하시키지 않은 채 속도 향상을 보여준다.

ABSTRACT

In this paper we present a modified version of the Hyperbolic Tangent Activation Function as a learning unit generator for neural networks. The function uses an integer calibration constant as an approximation to the Euler number, e, based on a quadratic Real Number Formula (RNF) algorithm and an adaptive normalization constraint on the input activations to avoid the vanishing gradient. We demonstrate the effectiveness of the proposed modification using a hypothetical and real world dataset and show that lower run-times can be achieved by learning algorithms using this function leading to improved speed-ups and learning accuracies during training.

연구 동기 및 목표

• 기본적인 활성화 함수인 tanh에서 사용하는 초월수 e의 계산 오버헤드 문제를 해결하기 위해.
• 학습 정확도를 훼손하지 않으면서 신경망의 학습 실행 시간을 단축시키기 위해.
• 입력 정규화와 함수 수정을 통해 역전파 과정에서 기울기 소멸 문제를 완화하기 위해.
• 실시간 및 자원 제약이 있는 환경에 적합한 계산 효율성이 높은 활성화 함수를 개발하기 위해.
• 성능 및 속도 평가를 위해 가설적 및 실세계 데이터셋에서 제안된 함수를 검증하기 위해.

제안 방법

• 표준 하이퍼볼릭 tangent 함수의 오일러 수 e를 이차 실수 공식(RNF) 알고리즘을 통해 유도된 정수 캘리브레이션 근사값으로 대체한다.
• 입력 활성화에 대해 적응형 정규화 제약 조건을 적용하여 기울기를 안정화하고 포화를 방지한다.
• tanh의 S자형 곡선을 유지하면서도 정수 산술 덕분에 더 빠른 계산이 가능한 수정된 활성화 함수를 설계한다.
• RNF에서 유도된 캘리브레이션 상수를 사용하여 오직 정수 연산만으로도 e를 고정밀도로 근사한다.
• 학습 및 평가를 위해 피드포워드 신경망 아키텍처에 수정된 함수를 통합한다.
• 수치 근사와 동적 입력 스케일링을 조합한 하이브리드 접근 방식을 사용하여 학습 안정성과 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 tanh 함수에서 초월수 e를 정수 근사값으로 대체할 경우 신경망 학습의 계산 비용을 줄일 수 있는가?
• RQ2 제안된 활성화 함수는 표준 tanh 및 ReLU 유사 함수와 비교해 학습 정확도를 유지하거나 향상시키는가?
• RQ3 적응형 정규화가 깊은 신경망 아키텍처에서 기울기 소멸 문제를 어느 정도 완화하는가?
• RQ4 수정된 활성화 함수는 합성 및 실세계 데이터셋 모두에서 측정 가능한 실행 시간 향상을 달성할 수 있는가?
• RQ5 정밀도와 속도 측면에서 RNF 기반의 e 근사값은 표준 부동소수점 구현과 어떻게 비교되는가?

주요 결과

• 수정된 활성화 함수는 합성 및 실세계 데이터셋 모두에서 표준 tanh 및 ReLU보다 낮은 학습 실행 시간을 달성했다.
• e의 정수 캘리브레이션 근사값 사용으로 계산 복잡도가 감소하여 더 빠른 추론 및 학습 사이클이 가능해졌다.
• 적응형 정규화가 특히 더 깊은 네트워크 아키텍처에서 기울기 소멸 문제를 효과적으로 완화했다.
• 기준 데이터셋에서 제안된 함수는 표준 tanh보다 뛰어난 학습 정확도를 보였으며, 일부 경우에서 슈퍼어워레이션을 기록했다.
• RNF 알고리즘이 원래 tanh와 기능적으로 유사성을 유지하면서도 더 빠른 산술 연산을 가능하게 하는 정밀한 정수 근사값을 제공했다.
• 실험 결과, 학습 속도 향상이 명확하게 측정되었으며, 특히 자원 제약이 있는 환경에서 매우 효과적이었다.