[論文レビュー] TanhSoft -- a family of activation functions combining Tanh and Softplus

Koushik Biswas, Sandeep Kumar+2 more|arXiv (Cornell University)|Sep 8, 2020

Advanced Neural Network Applications参考文献 26被引用数 4

ひとこと要約

この論文では、tanh と softplus 成分を4つの調整可能なハイパーパrameterで組み合わせた、TanhSoft と呼ばれる新しい活性化関数の族を紹介する。$\tanh(\alpha x + \beta e^{\gamma x})\ln(\delta + e^x)$。ハイパーパrameterの最適化により、特定のTanhSoftバリアントがReLU、Swish、その他の標準的な活性化関数を上回り、Inception-v3を用いたCIFAR-100では最大2.57%高いトップ1精度を達成した。また、DenseNet-169を用いた場合、1.24%の向上を示した。

ABSTRACT

Deep learning at its core, contains functions that are composition of a linear transformation with a non-linear function known as activation function. In past few years, there is an increasing interest in construction of novel activation functions resulting in better learning. In this work, we propose a family of novel activation functions, namely TanhSoft, with four undetermined hyper-parameters of the form tanh(αx+βe^{γx})ln(δ+e^x) and tune these hyper-parameters to obtain activation functions which are shown to outperform several well known activation functions. For instance, replacing ReLU with xtanh(0.6e^x)improves top-1 classification accuracy on CIFAR-10 by 0.46% for DenseNet-169 and 0.7% for Inception-v3 while with tanh(0.87x)ln(1 +e^x) top-1 classification accuracy on CIFAR-100 improves by 1.24% for DenseNet-169 and 2.57% for SimpleNet model.

研究の動機と目的

• 既存の標準的な関数を凌駕する性能を発揮するように調整可能な、体系的でハイパーパrameter化された活性化関数の族を開発すること。
• ReLU やその他の人気のある活性化関数の限界（ゼロ平均でない、死んでしまうReLU、勾配消失）を克服するため、より柔軟な非線形性を導入すること。
• tanh と softplus 成分を調整可能なパラメータで組み合わせることで、深層ニューラルネットワークにおける一般化性能と収束性が向上するかを検証すること。
• CIFAR-10、CIFAR-100 といったベンチマークデータセットを用い、DenseNet、Inception、MobileNet、WideResNet といった多様なアーキテクチャで、提案された族の実証的妥当性を検証すること。

提案手法

• tanh と softplus 成分を4つの調整可能なハイパーパラメータで組み合わせた新しい活性化関数の族を定式化：$ f(x; \alpha, \beta, \gamma, \delta) = \tanh(\alpha x + \beta e^{\gamma x}) \ln(\delta + e^x) $。
• 標準的なビジョンベンチマークで性能を最大化するように、$\alpha$, $\beta$, $\gamma$, $\delta$ の最適な設定を体系的なハイパーパラメータサーチで特定する。
• Adam最適化法を用い、標準的なトレーニングプロトコルに従い、CIFAR-10 および CIFAR-100 で複数の深層学習モデル（DenseNet-121, DenseNet-169, Inception-v3, SimpleNet, MobileNet, WideResNet）を訓練する。
• トップ1およびトップ3精度の指標に基づき、最適にチューニングされたTanhSoftバリアントとReLU、Leaky ReLU、ELU、Swish、Softplusの性能を比較する。
• SimpleNetアーキテクチャを用いたアブレーションにより、個々のハイパーパラメータ（例：$\beta$ と $\gamma$）がモデル精度に与える影響を評価する。
• CIFAR-100 における WideResNet-28-10 に対して、トレーニングおよびテスト精度／損失曲線を可視化し、一般化性能と収束特性を評価する。

実験結果

リサーチクエスチョン

• RQ1 tanh と softplus 関数のハイパーパラメータ化された組み合わせにより、ReLU や Swish と比較して優れた性能を示す活性化関数が得られるか？
• RQ2 画像分類ベンチマークで最良の性能を発揮するための4つのハイパーパラメータ（$\alpha$, $\beta$, $\gamma$, $\delta$）の具体的な値は何か？
• RQ3 提案されたTanhSoft族は、多様な深層ネットワークアーキテクチャにおいて収束速度と最終的な精度を向上させるか？
• RQ4 複数のデータセット（CIFAR-10、CIFAR-100）およびモデルタイプにおいて、TanhSoft の性能はSwish や ReLU と比較してどうか？
• RQ5 ハイパーパラメータ化された設計により、恣意的な修正に比べ、より体系的かつ効果的な活性化関数の探索が可能になるか？

主な発見

• TanhSoft-1（$\alpha = 0.87$）は、DenseNet-169を用いたCIFAR-100でReLUと比較してトップ1精度が1.24%向上し、SimpleNetでは2.57%向上した。
• TanhSoft-2（$\beta = 0.6$, $\gamma = 1$）は、DenseNet-169を用いたCIFAR-10でReLUと比較して0.46%高いトップ1精度を達成し、Inception-v3では0.7%高い精度を示した。
• SimpleNetモデルにおいて、$\beta = 0.6$ のTanhSoft-2はCIFAR-10で92.23%のトップ1精度を達成し、ReLU（91.01%）およびSwish（91.59%）を上回った。
• CIFAR-100において、TanhSoft-2はInception-v3で69.28%のトップ1精度を達成し、ReLU（69.09%）およびSwish（67.61%）を上回った。
• 最も優れたTanhSoftバリアント（$\beta = 0.6$, $\gamma = 1$）は、SimpleNetを用いたCIFAR-10で92.23%のトップ1精度を達成し、アーキテクチャを問わず優れた一般化性能を示した。
• CIFAR-100におけるWideResNet-28-10のトレーニング曲線から、TanhSoft-2はReLU や Swish よりも高速な収束と低いテスト損失を示しており、最適化のダイナミクスが改善されていることが示唆された。