[논문 리뷰] Squareplus: A Softplus-Like Algebraic Rectifier

Jonathan T. Barron|arXiv (Cornell University)|2021. 12. 22.

Parallel Computing and Optimization Techniques인용 수 10

한 줄 요약

이 논문은 소프트플러스를 오직 덧셈, 곱셈, 제곱근과 같은 대수 연산만을 사용해 근사하는, 미분 가능하고 음수가 아닌 활성화 함수인 Squareplus를 소개한다. 이는 CPU에서 소프트플러스보다 약 6배 빠르며, 큰 입력값에서도 수치적으로 안정적이다. 소프트플러스와 달리 트랜스센던탈 함수를 피함으로써 자원이 제한된 딥러닝 환경에서 효율적으로 구현 가능하면서도 스무스함과 ReLU 유사 행동을 유지한다.

ABSTRACT

We present squareplus, an activation function that resembles softplus, but which can be computed using only algebraic operations: addition, multiplication, and square-root. Because squareplus is ~6x faster to evaluate than softplus on a CPU and does not require access to transcendental functions, it may have practical value in resource-limited deep learning applications.

연구 동기 및 목표

• exp와 log와 같은 비용이 많이 드는 트랜스센던탈 연산을 피하는 소프트플러스 유사 활성화 함수를 개발하기 위해.
• 일반적인 소프트플러스 구현이 실패하는 큰 입력값에서도 수치적으로 안정성을 확보하기 위해.
• 스무스함(C∞ 연속성)과 비음성(non-negativity)을 유지하면서도 계산 자원이 제한된 환경에서 더 빠른 추론을 가능하게 하기 위해.
• 다양한 미분 가능성을 유지하면서 渐近적으로 ReLU에 수렴하는 연속적인 기울기를 가지는 활성화 함수를 제공하기 위해.
• 영역 근처의 곡률을 제어할 수 있는 조정 가능한 하이퍼파rameter b를 제공하여 소프트플러스와 유사한 형태 제어 기능을 가능하게 하기 위해.

제안 방법

• Squareplus는 $\operatorname{squareplus}(x,b) = \frac{1}{2}\left(x + \sqrt{x^2 + b}\right)$로 정의되며, 여기서 $b \geq 0$는 학습 가능한 또는 고정된 하이퍼파rameter이다.
• 함수는 오직 덧셈, 곱셈, 제곱근과 같은 대수 연산으로 구성되어 있어 exp와 log를 피한다.
• Squareplus의 1차 도함수는 $\frac{1}{2}\left(1 + \frac{x}{\sqrt{x^2 + b}}\right)$이며, 대수적 시그모이드 유사 함수이다.
• 2차 도함수는 $\frac{1}{2}\left(\frac{b}{(x^2 + b)^{3/2}}\right)$이며, $b = 2$일 때 자유도 $\nu = 2$인 스트루던트의 t-분포의 PDF와 일치한다.
• 하이퍼파rameter $b$는 척도 파라미터로 작용한다: $\frac{\operatorname{squareplus}(ax, b)}{a} = \operatorname{squareplus}\left(x, \frac{b}{a^2}\right)$.
• b = 0일 경우 Squareplus는 정확히 ReLU로 축소되며, b = 4\ln^2 2일 경우 x = 0에서 소프트플러스와 일치하고 위쪽에서 그것을 둘러싸는 상한선이 된다.

실험 결과

연구 질문

• RQ1 소프트플러스 유사 활성화 함수를 오직 대수 연산만을 사용해 구성할 수 있는가? 이는 계산 효율성을 향상시킬 수 있는가?
• RQ2 대수적 활성화 함수는 큰 입력값에서 수치적으로 불안정해지는 문제를 피하면서도 소프트플러스의 스무스함과 비음성 특성을 유지하는가?
• RQ3 속도와 기울기 동역학 측면에서 Squareplus는 소프트플러스와 ReLU에 비해 성능가능성이 있는가?
• RQ4 하이퍼파라미터 $b$는 영역 근처의 곡률을 조절할 수 있는가? 이는 소프트플러스와 유사한 형태 제어 기능을 가능하게 하는가?
• RQ5 Squareplus는 $x = 0$에서 연속적인 기울기를 유지하며, 소프트플러스처럼 渐近적으로 ReLU에 수렴하는가?

주요 결과

• 100만 개의 입력에 대해 CPU에서 Squareplus는 소프트플러스보다 약 6배 빠르며, 실행 시간은 0.631 ms 대비 3.777 ms이다.
• GPU에서는 Squareplus가 소프트플러스보다 약 10% 빠르며, 이는 계산이 아닌 메모리 대역폭에 의해 제한되기 때문이다.
• Squareplus는 큰 입력값에서도 수치적으로 안정적이며, 입력값이 약 $x \approx 15$에서 오버플로우로 인해 실패하는 일반적인 소프트플러스의 구현 방식과는 다르다.
• b = 4일 경우, Squareplus의 2차 도함수는 x = 0에서 소프트플러스와 동일한 값 $\frac{1}{4}$를 가진다.
• x = 0일 경우, b = 4인 Squareplus는 출력값으로 1.0을 내보내며, 이는 활성화 함수로서 자연스럽고 직관적인 값이다.
• 모든 $b \geq 4\ln^2 2$에 대해 Squareplus는 소프트플러스보다 항상 같거나 더 큰 값을 보장하므로, ReLU에 대한 유효한 상한선이 된다.