[논문 리뷰] TanhExp: A Smooth Activation Function with High Convergence Speed for Lightweight Neural Networks

Xinyu Liu, Xiaoguang Di|arXiv (Cornell University)|2020. 03. 22.

Advanced Neural Network Applications참고 문헌 18인용 수 6

한 줄 요약

이 논문은 $ f(x) = x \tanh(e^x) $로 정의되는 부드럽고 비조각적(piecewise)인 활성화 함수인 TanhExp을 제안한다. 이는 추가 파rameter 없이 경량 신경망에서 수렴 속도와 정확도를 향상시킨다. MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100에서 ReLU, Mish, Swish보다 더 빠른 학습과 뛰어난 성능을 달성하며, CIFAR-100의 LeNet에서 Mish보다 최대 6.5% 높은 테스트 정확도를 기록한다.

ABSTRACT

Lightweight or mobile neural networks used for real-time computer vision tasks contain fewer parameters than normal networks, which lead to a constrained performance. In this work, we proposed a novel activation function named Tanh Exponential Activation Function (TanhExp) which can improve the performance for these networks on image classification task significantly. The definition of TanhExp is f(x) = xtanh(e^x). We demonstrate the simplicity, efficiency, and robustness of TanhExp on various datasets and network models and TanhExp outperforms its counterparts in both convergence speed and accuracy. Its behaviour also remains stable even with noise added and dataset altered. We show that without increasing the size of the network, the capacity of lightweight neural networks can be enhanced by TanhExp with only a few training epochs and no extra parameters added.

연구 동기 및 목표

• 모델 크기와 학습 시간이 제한된 경량 신경망의 성능 한계를 해결하기 위해.
• 모바일 및 실시간 비전 응용 분야에서 ReLU의 단점인 비제로 평균 활성화와 죽은 ReLU 문제를 해결하기 위해.
• 모델 복잡도를 증가시키지 않고도 수렴 속도와 정확도를 향상시키는 단순하고 효율적이며 강건한 활성화 함수를 설계하기 위해.
• TanhExp가 추가 파rameter 없이도 네트워크 용량을 향상시켜 작은 데이터셋에서 더 빠른 수렴과 더 나은 일반화를 가능하게 함을 입증하기 위해.

제안 방법

• 부드러움과 근사 선형성의 조합을 통해 $ f(x) = x \cdot \tanh(e^x) $로 정의된 새로운 활성화 함수인 TanhExp를 제안한다.
• 함수가 곳곳에서 연속적이며 미분 가능하도록 보장하며, 음수 값을 갖도록 하여 활성화 평균을 0 근처로 중심화해 학습을 가속화한다.
• hyperbolic tangent 내의 지수 함수를 활용해 딱딱한 잘림 없이 부드러운 전이를 만들어내어 죽은 ReLU 문제를 완화한다.
• 계산 효율성을 확보하여 ReLU보다 약간 더 많은 계산만 필요하고 Swish와 유사한 수준이며, Mish와 같은 더 복잡한 함수보다 뛰어난 성능을 발휘한다.
• 고정된 초모수를 사용해 다양한 경량 아키텍처(예: LeNet, ResNet-20, ResNet-32)에 TanhExp를 구현하고, 여러 데이터셋에서 평가한다.
• 표준 지표인 테스트 정확도, 수렴 속도, 노이즈에 대한 강건성, 계산 시간을 사용해 성능를 평가한다.

실험 결과

연구 질문

• RQ1 추가 파rameter 없이 모델 크기나 파rameter 수를 늘리지 않고도, 부드럽고 비조각적인 활성화 함수가 경량 신경망의 수렴 속도와 정확도를 향상시킬 수 있는가?
• RQ2 TanhExp는 ReLU, Mish, Swish와 비교해 학습 속도, 최종 정확도, 데이터 노이즈에 대한 강건성 면에서 어떻게 성능을 내는가?
• RQ3 TanhExp는 MNIST, Fashion-MNIST, CIFAR-10, CIFAR-100과 같은 다양한 데이터셋에서, 특히 얕고 작은 아키텍처에서 높은 성능을 유지하는가?
• RQ4 TanhExp는 실시간 모바일 및 임베디드 비전 시스템에 실용적으로 적용할 수 있을 정도로 계산 효율성이 충분한가?
• RQ5 TanhExp는 기울기 흐름 향상과 활성화 평균 중심화를 통해 경량 네트워크의 표현 능력을 향상시킬 수 있는가?

주요 결과

• 15층 네트워크로 MNIST를 학습한 결과, TanhExp는 단 한 번의 에포크 후 89.86%의 테스트 정확도를 달성했으며, 이는 Swish(40.30%)와 Mish(65.68%)를 크게 앞서는 성과였다.
• CIFAR-100에서 TanhExp는 ReLU보다 5% 높은 정확도, Mish보다 6.5% 높은 정확도, Swish보다 4.7% 높은 정확도를 기록했다. LeNet 기반으로 평가한 결과이다.
• TanhExp는 모든 기준 모델보다 더 빠른 수렴을 보였으며, 유사하거나 더 높은 정확도에 도달하기 위해 더 적은 학습 에포크를 필요로 하였다.
• 노이즈와 데이터셋 이동 상황에서도 안정적인 성능을 유지해 강력한 강건성을 입증하였다.
• 계산 측면에서 TanhExp는 Mish보다 약 두 배 빠르며, Swish와 유사한 수준이었고, 더 빠른 수렴 덕분에 총 학습 시간이 ReLU보다 크게 단축되었다.
• 빠른 수렴과 단계당 낮은 계산량 덕분에, TanhExp는 ReLU를 포함한 비교 대상 모든 활성화 함수보다 더 나은 정확도-속도 트레이드오프를 달성하였다.