[論文レビュー] Effects of the Nonlinearity in Activation Functions on the Performance of Deep Learning Models

Nalinda Kulathunga, N. R. Ranasinghe+4 more|arXiv (Cornell University)|Oct 14, 2020

Neural Networks and Applications参考文献 16被引用数 12

ひとこと要約

本研究は、ReLUおよびLeaky-ReLU（L-ReLU）活性化関数における非線形性が、さまざまなアーキテクチャとデータタイプにおけるディープラーニングモデルのパフォーマンスに与える影響を調査する。MNIST、連続的、FOOD-11のデータセットを用いて、L-ReLUはモデルパラメータが制限されている場合にのみReLUを上回ることを発見した。一方、高パラメータ設定およびトランスファー学習でないタスクではReLUが優れているが、画像データを用いたトランスファーレーニングの場面ではL-ReLUが精度を向上させる。

ABSTRACT

The nonlinearity of activation functions used in deep learning models are crucial for the success of predictive models. There are several commonly used simple nonlinear functions, including Rectified Linear Unit (ReLU) and Leaky-ReLU (L-ReLU). In practice, these functions remarkably enhance the model accuracy. However, there is limited insight into the functionality of these nonlinear activation functions in terms of why certain models perform better than others. Here, we investigate the model performance when using ReLU or L-ReLU as activation functions in different model architectures and data domains. Interestingly, we found that the application of L-ReLU is mostly effective when the number of trainable parameters in a model is relatively small. Furthermore, we found that the image classification models seem to perform well with L-ReLU in fully connected layers, especially when pre-trained models such as the VGG-16 are used for the transfer learning.

研究の動機と目的

• 活性化関数（ReLUやL-ReLU）の非線形性がディープラーニングモデルのパフォーマンスに与える影響を理解すること。
• モデルアーキテクチャの形状とパラメータ数が、異なる活性化関数を用いた検証精度に与える影響を調査すること。
• データドメイン（連続的、カテゴリカル、画像）が最適な活性化関数選択に与える影響を評価すること。
• L-ReLUが一般化性能や情報フローの観点でReLUを上回る条件を探索すること。
• 非線形性係数αの選定に関する実証的知見を提供し、モデルパフォーマンスの向上に寄与すること。

提案手法

• アーキテクチャの影響を評価するために、異なる隠れ層ノード構成を持つ5つの異なるモデルアーキテクチャ（A–E）を用いた。
• すべてのアーキテクチャとデータセットに対して、α（0から1まで）を変化させたReLUおよびL-ReLUを適用した。
• 交差エントロピー損失関数とMSE損失関数を用いて、MNIST（手書き数字）、シミュレートされた連続的データ、FOOD-11（画像分類）でモデルを学習した。
• トランスファーレーニングのため、事前学習済みのVGG-16からボトルネック特徴量を抽出し、それらを全結合ネットワークの入力として用いた。
• さまざまなα値とデータタイプにおいて、検証精度と検証損失を測定した。
• 情報フローの分析として、損失の挙動とαへのモデル感度（特にα=1のような極端な値）を観察した。

実験結果

リサーチクエスチョン

• RQ1 ReLUとL-ReLUの選択が、さまざまなモデルアーキテクチャにおけるモデル精度にどのように影響するか？
• RQ2 トレーニング可能なパラメータ数が、L-ReLUがReLUを上回るパフォーマンス優位性を示すかどうかに影響を与えるか？
• RQ3 データドメイン（例：連続的、画像、カテゴリカル）が最適な活性化関数選択に与える影響は何か？
• RQ4 VGG-16のようなモデルから事前抽出された特徴量を用いたトランスファーレーニング環境において、L-ReLUが与える影響は何か？
• RQ5 αを変化させた際、特にα=1で検証損失がデータタイプによって異なる挙動を示すのはなぜか？

主な発見

• 高パラメータモデルでは、ReLUが一貫してL-ReLUを上回り、すべてのアーキテクチャでMNISTで最大約90％の検証精度を達成した。
• L-ReLUがReLUを上回るパフォーマンス優位性を示すのは、トレーニング可能なパラメータ数が比較的少ない場合に限られ、特に浅いまたは狭いネットワークで顕著であった。
• VGG-16のボトルネック特徴量を用いたFOOD-11画像分類タスクでは、αが増加するにつれて検証損失が低下し、L-ReLUがトランスファーレーニングの文脈でReLUを上回った。
• 連続的データでは、α=1で検証損失が急激に上昇（約10^4に達する）し、特徴量とターゲットの非線形関係がある場合、ReLUの強い非線形性が有害であることが示された。
• MNISTモデルではαへの依存が弱く、ReLU（α=0）が最良の検証損失を示した。これは、ReLUの強い非線形性が、このドメインでは特徴学習を強化していることを示唆している。
• 結果から、ネットワーク内の情報フローは活性化関数の非線形性に著しく影響を受けることが示され、今後の理解を深めるために情報フローのエントロピーに基づく定量化が有効である可能性がある。