[論文レビュー] ARiA: Utilizing Richard's Curve for Controlling the Non-monotonicity of the Activation Function in Deep Neural Nets

Narendra Patwardhan, Madhura Ingalhalikar+1 more|arXiv (Cornell University)|May 22, 2018

Advanced Neural Network Applications参考文献 12被引用数 4

ひとこと要約

本稿では、リチャードの曲線に基づく新規2パラメータ活性化関数ARiAを提案する。これは、Swish や ReLU よりも非単調性をより正確に制御することを目的としている。パラメータ α と β を調整することにより、ARiA2 は正負の両領域における凸性を独立して制御可能であり、MNIST、CIFAR-10、CIFAR-100 において、収束が速く、ReLU や Swish より優れた性能を示す最先端の精度を達成している。

ABSTRACT

This work introduces a novel activation unit that can be efficiently employed in deep neural nets (DNNs) and performs significantly better than the traditional Rectified Linear Units (ReLU). The function developed is a two parameter version of the specialized Richard's Curve and we call it Adaptive Richard's Curve weighted Activation (ARiA). This function is non-monotonous, analogous to the newly introduced Swish, however allows a precise control over its non-monotonous convexity by varying the hyper-parameters. We first demonstrate the mathematical significance of the two parameter ARiA followed by its application to benchmark problems such as MNIST, CIFAR-10 and CIFAR-100, where we compare the performance with ReLU and Swish units. Our results illustrate a significantly superior performance on all these datasets, making ARiA a potential replacement for ReLU and other activations in DNNs.

研究の動機と目的

• ハイパーパramータによる非単調曲率の制御において、ReLU や Swish の限界を解消すること。
• 正負の入力領域において、調整可能な凸性を持つ微分可能で非単調な活性化関数の開発。
• 活性関数の形状の精密な制御を通じて、深層ニューラルネットワークの学習ダイナミクスとテスト精度の向上。
• Swish よりも優れたハイパーパラメータ制御を備えた、計算コストが低い代替手法の提供。特にリソース制約下での使用を想定し、1パラメータバージョン（ARiA1）を含む。

提案手法

• リチャードの曲線から導出された2パラメータ活性化関数 ARiA を提案。定義は f(x) = x * σ(L) であり、σ(L) は修正されたシグモイド関数。
• パラメータ α と β を用いて、第1象限および第3象限における凸性を独立して制御可能な ARiA2 を導入。
• スケーリング係数 α を用いて、α と β を用いた修正シグモイド関数 σ(β, x) = (1 + e^(-βx))^(-1) を調整し、活性化関数の曲率と勾配を制御。
• 標準的な最適化手法（Adam や SGD）を用いて、フィードフォワードネットワークおよび畳み込みネットワーク（DenseNet や Wide Residual Networks）に ARiA2 を適用。
• ハイパーパラメータ α と β のサーチを実施し、MNIST、CIFAR-10、CIFAR-100 における性能を検証。
• 計算コストを低減するため、β = 1 に固定した単一パラメータバージョン ARiA1 を導入。

実験結果

リサーチクエスチョン

• RQ1 リチャードの曲線に基づく2パラメータ活性化関数は、Swish よりも非単調曲率の制御をより精密に可能にするか？
• RQ2 標準ベンチマークにおいて、ARiA2 はテスト精度および収束速度の面で ReLU や Swish を上回るか？
• RQ3 ARiA1 はリソース制約下の学習において、Swish や ReLU の有効な低複雑度代替として機能するか？
• RQ4 ハイパーパラメータ α と β は、活性化関数の形状および性能にそれぞれどのように独立して影響を与えるか？

主な発見

• DenseNet を用いた MNIST では、α = 1.75、β = 1 の ARiA2 が 98.84% のテスト精度を達成し、ReLU（98.72%）や Swish を上回った。
• CIFAR-10 では、α = 1.5、β = 1 の ARiA2 が 100エポックで 95.43% の精度に到達し、ReLU（92.55%）や Swish を上回った。
• CIFAR-100 では、α = 1.5、β = 2 の ARiA2 が 100エポックで 70.17% の精度を達成し、ReLU（68.06%）や Swish を上回った。
• α = 1.5、β = 1 の ARiA1 は、CIFAR-10 で 100エポックで 94.37% の精度を達成し、1つの調整可能なパラメータで優れた性能を示した。
• 結果から、ARiA2 はすべてのデータセットおよびアーキテクチャで一貫して ReLU や Swish を上回り、収束が速く、精度が高かった。
• 本研究では、α と β を用いた非単調凸性の精密な制御が、ARiA の優れた性能の鍵であることが確認された。