[논문 리뷰] ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets

Narendra Patwardhan, Madhura Ingalhalikar외 1명|arXiv (Cornell University)|2018. 05. 22.

Advanced Neural Network Applications참고 문헌 12인용 수 4

한 줄 요약

이 논문은 리처드 곡선을 기반으로 한 새로운 이중 매개변수 활성화 함수인 ARiA를 제안하며, Swish나 ReLU보다 비단조화(curvature)를 더 정밀하게 제어할 수 있도록 설계되었다. 매개변수 α와 β를 조절함으로써 양의 영역과 음의 영역에서 각각 볼록성(convexity)을 독립적으로 제어할 수 있으며, MNIST, CIFAR-10, CIFAR-100에서 최신 기준 성능을 달성하며 수렴 속도가 빠르고 ReLU 및 Swish보다 뛰어난 성능을 보였다.

ABSTRACT

This work introduces a novel activation unit that can be efficiently employed in deep neural nets (DNNs) and performs significantly better than the traditional Rectified Linear Units (ReLU). The function developed is a two parameter version of the specialized Richard's Curve and we call it Adaptive Richard's Curve weighted Activation (ARiA). This function is non-monotonous, analogous to the newly introduced Swish, however allows a precise control over its non-monotonous convexity by varying the hyper-parameters. We first demonstrate the mathematical significance of the two parameter ARiA followed by its application to benchmark problems such as MNIST, CIFAR-10 and CIFAR-100, where we compare the performance with ReLU and Swish units. Our results illustrate a significantly superior performance on all these datasets, making ARiA a potential replacement for ReLU and other activations in DNNs.

연구 동기 및 목표

• ReLU 및 Swish가 초모수를 통해 비단조화 곡률을 제어하는 데에 한계가 있음을 해결하기 위해.
• 양의 입력 영역과 음의 입력 영역에서 조절 가능한 볼록성을 가진 미분 가능하고 비단조화 활성화 함수를 개발하기 위해.
• 활성화 함수의 형태를 정밀하게 제어함으로써 딥 네ural 네트워크의 학습 동역학과 테스트 정확도를 향상시키기 위해.
• Swish보다 더 나은 초모수 제어 기능을 제공하며 계산 비용이 낮은 대안을 제공하기 위해, 자원이 제한된 환경에 적합한 단일 매개변수 버전(ARiA1)을 포함한다.

제안 방법

• 리처드 곡선에서 유도된 이중 매개변수 활성화 함수인 ARiA를 제안하며, f(x) = x * σ(L)로 정의되며, 여기서 σ(L)는 수정된 로지스틱 시그모이드이다.
• α와 β를 매개변수로 사용하는 ARiA2를 도입하여 제1사분면과 제3사분면에서 볼록성을 독립적으로 제어한다.
• α로 스케일링된 수정된 시그모이드 함수 σ(β, x) = (1 + e^(-βx))^(-1)를 사용하여 활성화 함수의 곡률과 기울기를 조절한다.
• 표준 최적화기(예: Adam, SGD)를 사용하여 피드포워드 및 컨볼루션 네트워크, 특히 DenseNet과 워드 리저널 네트워크에 ARiA2를 적용한다.
• α와 β에 대한 초모수 탐색을 통해 MNIST, CIFAR-10, CIFAR-100에서 성능을 검증한다.
• 계산 비용을 줄이기 위해 β = 1으로 고정하고 α만 조절 가능한 단순화된 버전인 ARiA1을 도입한다.

실험 결과

연구 질문

• RQ1 리처드 곡선에서 유도된 이중 매개변수 활성화 함수가 Swish보다 비단조화 곡률을 더 정밀하게 제어할 수 있는가?
• RQ2 표준 벤치마크에서 ARiA2가 테스트 정확도와 수렴 속도 측면에서 ReLU 및 Swish를 능가하는가?
• RQ3 ARiA1은 자원이 제한된 학습 환경에서 Swish 및 ReLU의 효과적인 저복잡도 대안이 될 수 있는가?
• RQ4 초모수 α와 β가 활성화 함수의 형태와 성능에 각각 어떻게 영향을 미치는가?

주요 결과

• DenseNet을 사용한 MNIST에서 ARiA2는 α = 1.75, β = 1일 때 98.84%의 테스트 정확도를 기록하여 ReLU(98.72%)와 Swish를 능가했다.
• CIFAR-10에서 ARiA2는 α = 1.5, β = 1일 때 100 에포크에 95.43%의 정확도를 달성하여 ReLU(92.55%)와 Swish를 초월했다.
• CIFAR-100에서 ARiA2는 α = 1.5, β = 2일 때 100 에포크에 70.17%의 정확도를 기록하여 ReLU(68.06%)와 Swish를 뛰어넘었다.
• ARiA1은 α = 1.5, β = 1일 때 CIFAR-10에서 100 에포크에 94.37%의 정확도를 기록하여 단일 조절 가능한 매개변수로도 뛰어난 성능을 보였다.
• 결과적으로 ARiA2는 모든 데이터셋과 아키텍처에서 ReLU 및 Swish를 일관되게 능가하며, 더 빠른 수렴 속도와 더 높은 정확도를 보였다.
• 연구는 α와 β를 통한 비단조화 볼록성의 정밀한 제어가 ARiA의 뛰어난 성능의 핵심 요소임을 확인했다.