[論文レビュー] Squareplus: A Softplus-Like Algebraic Rectifier

Jonathan T. Barron|arXiv (Cornell University)|Dec 22, 2021

Parallel Computing and Optimization Techniques被引用数 10

ひとこと要約

この論文では、指数関数や対数関数を含まずに加算、乗算、平方根のみを用いた代数的演算で近似する、微分可能で非負の活性化関数「Squareplus」を紹介している。これにより、CPU上ではsoftplusの約6倍高速となり、大きな入力値に対しても数値安定性を保つ。softplusとは異なり、超越関数を避けることで、リソース制限のあるディープラーニング環境における効率的なデプロイが可能であり、同時に滑らかさとReLUに類似した挙動を維持する。

ABSTRACT

We present squareplus, an activation function that resembles softplus, but which can be computed using only algebraic operations: addition, multiplication, and square-root. Because squareplus is ~6x faster to evaluate than softplus on a CPU and does not require access to transcendental functions, it may have practical value in resource-limited deep learning applications.

研究の動機と目的

• exp や log のような高コストな超越関数を避ける、softplusに類似した活性化関数の開発。
• 大きな入力値に対して数値安定性を確保すること。これは、標準的なsoftplus実装が通常、x ≈ 15 付近でオーバーフローを起こすためである。
• 滑らかさ（C∞連続性）と非負性を維持しつつ、計算リソースが制限された環境での高速な推論を実現すること。
• 微分可能で、かつx → ∞ でReLUに漸近的に近づくが、連続的な勾配を持つ活性化関数の提供。
• b という調整可能なハイパーパrameter を提供し、x = 0 の近傍における曲率を制御可能とし、softplusと同様の形状制御を可能とすること。

提案手法

• Squareplus は $\operatorname{squareplus}(x,b) = \frac{1}{2}\left(x + \sqrt{x^2 + b}\right)$ で定義され、$b \geq 0$ は学習可能または固定されたハイパーパrameter である。
• 関数は加算、乗算、平方根の代数的演算のみで構成され、exp や log を含まない。
• Squareplus の1階微分は $\frac{1}{2}\left(1 + \frac{x}{\sqrt{x^2 + b}}\right)$ であり、代数的シグモイド関数に類似している。
• 2階微分は $\frac{1}{2}\left(\frac{b}{(x^2 + b)^{3/2}}\right)$ であり、$b = 2$ のとき、自由度 $\nu = 2$ のスルーデントのt分布の確率密度関数に一致する。
• ハイパーパrameter $b$ はスケールパラメータとして機能する：$\frac{\operatorname{squareplus}(ax, b)}{a} = \operatorname{squareplus}\left(x, \frac{b}{a^2}\right)$。
• b = 0 の場合、Squareplus は正確に ReLU に簡約される。b = 4\ln^2 2 の場合、x = 0 で softplus と一致し、上界としてsoftplusを包み込む。

実験結果

リサーチクエスチョン

• RQ1 超越関数を一切用いず、代数的演算のみでsoftplusに類似した活性化関数を構築できるか？
• RQ2 代数的活性化関数は、softplusと同様に滑らかさと非負性を維持するが、大きな入力値で数値不安定性を回避できるか？
• RQ3 Squareplus は、速度と勾配ダイナミクスの観点で、softplus や ReLU と比較してどの程度の性能を示すか？
• RQ4 ハイパーパrameter $b$ を用いて、x = 0 の近傍における曲率を調整可能であり、softplusと同様の形状制御が可能か？
• RQ5 Squareplus は x = 0 で連続的な勾配を保ち、softplusと同様にReLUに漸近的に近づくか？

主な発見

• 100万個の入力に対して、CPU上でのSquareplusの実行時間は0.631 ms、softplusは3.777 msであり、約6倍高速である。
• GPU上では、性能がメモリ帯域幅に制限されるため、Squareplusはsoftplusよりわずかに10％程度高速にとどまる。
• Squareplus は大きな入力値に対しても数値安定性を保ち、x ≈ 15 付近でオーバーフローを起こすことがある素朴なsoftplus実装とは対照的である。
• b = 4 の場合、Squareplus の2階微分（x = 0）は、softplus と等しく $\frac{1}{4}$ に一致する。
• x = 0 において、b = 4 のSquareplusの出力は1.0であり、これは活性化関数として自然で直感的な値である。
• すべての $b \geq 4\ln^2 2$ に対して、Squareplus は点ごとの値が softplus 以上であることが保証され、ReLU の有効な上界を提供する。