[論文レビュー] ALReLU: A different approach on Leaky ReLU activation function to improve Neural Networks Performance

Stamatis Mastromichalakis|arXiv (Cornell University)|Dec 11, 2020

Stochastic Gradient Optimization Techniques参考文献 4被引用数 33

ひとこと要約

ALReLUは死活ReLU問題を緩和し、画像・テキスト・表データタスク全般でニューラルネットワークの性能を向上させることを目指すAbsolute Leaky ReLUバリアント。ReLUとLeaky ReLUを複数データセットで上回る改善を報告。

ABSTRACT

Despite the unresolved 'dying ReLU problem', the classical ReLU activation function (AF) has been extensively applied in Deep Neural Networks (DNN), in particular Convolutional Neural Networks (CNN), for image classification. The common gradient issues of ReLU pose challenges in applications on academy and industry sectors. Recent approaches for improvements are in a similar direction by just proposing variations of the AF, such as Leaky ReLU (LReLU), while maintaining the solution within the same unresolved gradient problems. In this paper, the Absolute Leaky ReLU (ALReLU) AF, a variation of LReLU, is proposed, as an alternative method to resolve the common 'dying ReLU problem' on NN-based algorithms for supervised learning. The experimental results demonstrate that by using the absolute values of LReLU's small negative gradient, has a significant improvement in comparison with LReLU and ReLU, on image classification of diseases such as COVID-19, text and tabular data classification tasks on five different datasets.

研究の動機と目的

• ニューラルネットワークにおける死んだReLU問題を解決する必要性を動機づける。
• 絶対値を取るLeaky ReLUの変種としてAbsolute Leaky ReLU (ALReLU)を導入する。
• 画像分類（疾病関連データを含む）、テキスト、表形式データのタスクでALReLUを複数データセット全体で評価する。
• ALReLUの性能をReLUおよびLeaky ReLU (LReLU)のベースラインと比較する。
• ALReLUがトレーニングダイナミクスと最終精度を改善するかを評価する。

提案手法

• 絶対値を用いるLeaky ReLUの変種としてALReLUを提案する。
• ALReLUが勾配フローと監督付き学習設定における学習ダイナミクスにどう影響するかを評価する。
• 5つのデータセットにわたる画像分類タスク（疾病関連データを含む）とテキストおよび表データ分類を実施する。
• 実装とモデルへの統合を示すPythonコードのスニペットを提供する。

実験結果

リサーチクエスチョン

• RQ1 ALReLUはReLUおよびLeaky ReLUと比較して、さまざまなデータタイプで分類精度を改善するか。
• RQ2 ALReLUの勾配挙動はトレーニングダイナミクスと収束にどう影響するか。
• RQ3 ALReLUは実用的なCNNベースの画像分類タスクで死んだReLU問題を緩和するのに効果的か。
• RQ4 COVID-19関連の画像データ、テキスト、表データセットでのトレーニング安定性と性能に対するALReLUの定性的な影響は何か。

主な発見

• ALReLUは報告された実験によると、画像、テキスト、表分類タスクでLeaky ReLUとReLUより有意な改善を示した。
• ALReLUの負勾配の絶対値処理は、勾配フローと学習性能の向上に寄与する。
• 結果は5つの異なるデータセットで示されており、疾病関連の画像分類タスク（例: COVID-19）を含む。
• 論文にはPythonコードリストを含むとともに、4つの図と1つの表を含む10ページがある。
• ALReLUはReLUベースのネットワークにおける未解決の勾配問題に対処する代替として提案されている。