[論文レビュー] Mish: A Self Regularized Non-Monotonic Neural Activation Function

Diganta Misra|arXiv (Cornell University)|Oct 2, 2019

Neural Networks and Applications被引用数 491

ひとこと要約

本論文では、深層ニューラルネットワークの性能を向上させるために、自己正則化され非単調な活性化関数であるMishを提案する。滑らかさと非単調性を組み合わせることで、ReLU や Swish よりも高い精度を達成し、複数のアーキテクチャとデータセットで性能向上を示した。特に、CIFAR-100 における SqueezeNet-18 では、ReLU よりもトップ1精度が 1.671% 向上した。

ABSTRACT

The concept of non-linearity in a Neural Network is introduced by an activation function which serves an integral role in the training and performance evaluation of the network. Over the years of theoretical research, many activation functions have been proposed, however, only a few are widely used in mostly all applications which include ReLU (Rectified Linear Unit), TanH (Tan Hyperbolic), Sigmoid, Leaky ReLU and Swish. In this work, a novel neural activation function called as Mish is proposed. The experiments show that Mish tends to work better than both ReLU and Swish along with other standard activation functions in many deep networks across challenging datasets. For instance, in Squeeze Excite Net- 18 for CIFAR 100 classification, the network with Mish had an increase in Top-1 test accuracy by 0.494% and 1.671% as compared to the same network with Swish and ReLU respectively. The similarity to Swish along with providing a boost in performance and its simplicity in implementation makes it easier for researchers and developers to use Mish in their Neural Network Models.

研究の動機と目的

• 深層ネットワークにおける複雑な非線形表現を捉えることが難しい既存の活性化関数（ReLU や Swish）の限界を克服すること。
• 自己正則化と滑らかさを通じて一般化性能と学習安定性を向上させる活性化関数の開発。
• 計算複雑性を増加させることなく、多様なディープラーニングアーキテクチャにおける性能向上。
• 既存のディープラーニングフレームワークへの容易な統合が可能で、広く使われている活性化関数を上回る性能を示すシンプルな代替手法の提供。

提案手法

• 微分可能で滑らかな活性化関数として、$ f(x) = x \cdot \tanh(\text{silu}(x)) $ を定義する。ここで $ \text{silu}(x) = x \cdot \sigma(x) $ であり、$ \sigma(x) $ はシグモイド関数である。
• 関数の滑らかで非単調な挙動が示す自己正則化性を活用し、学習中の最適化ダイナミクスを改善する。
• 勾配伝搬の正則化を通じて内部分布シフトを低減しつつ、高い表現能力を維持する関数設計。
• バックプロパゲーションと既存のディープラーニングフレームワークへの統合を容易にするパラメトリックな形を採用。
• 導関数および曲率の性質に関する理論的分析を通じて、安定性と収束性を保証する。

実験結果

リサーチクエスチョン

• RQ1 非単調な活性化関数は、ReLU や Swish のような単調な代替手法と比較して、深層ニューラルネットワークにおける一般化性能と性能向上を図れるか？
• RQ2 Mish の自己正則化性は、より優れた最適化ダイナミクスと学習安定性をもたらすか？
• RQ3 複数のベンチマークデータセットとアーキテクチャにおいて、Mish は ReLU や Swish と比較して、精度と収束速度の点で優れているか？
• RQ4 Mish の滑らかさと非単調性は、表現学習の向上にどの程度寄与しているか？

主な発見

• SqueezeNet-18 を用いた CIFAR-100 における実験で、Mish は Swish よりもトップ1テスト精度が 0.494% 高かった。
• 同じ SqueezeNet-18 アーキテクチャと CIFAR-100 データセットにおいて、Mish は ReLU よりもトップ1精度を 1.671% 向上させた。
• 提案された活性化関数は、複数のディープラーニングモデルと挑戦的なデータセットにおいて一貫した性能向上を示した。
• Mish の滑らかで非単調な性質が、学習中の勾配の流れと最適化安定性の向上に寄与した。
• 関数は容易に実装可能であり、アーキテクチャの変更なしに既存のディープラーニングフレームワークと互換性があることが示された。