[論文レビュー] A Methodology for Automatic Selection of Activation Functions to Design Hybrid Deep Neural Networks

Alberto Marchisio, Muhammad Abdullah Hanif+3 more|arXiv (Cornell University)|Oct 27, 2018

Neural Networks and Applications参考文献 16被引用数 13

ひとこと要約

本論文は、深層ニューラルネットワークにおける層ごとの最適な活性化関数（ReLU、ELU、SELU）およびドロップアウト率を自動的に選択する手法を提案する。早期評価ポイントを用いることで、MNIST、CIFAR-10、CIFAR-100ベンチマークで訓練時間を4倍〜7倍短縮し、精度の相対誤差を7%〜15%削減するが、性能および消費電力のオーバーヘッドは最小限に抑えられる。

ABSTRACT

Activation functions influence behavior and performance of DNNs. Nonlinear activation functions, like Rectified Linear Units (ReLU), Exponential Linear Units (ELU) and Scaled Exponential Linear Units (SELU), outperform the linear counterparts. However, selecting an appropriate activation function is a challenging problem, as it affects the accuracy and the complexity of the given DNN. In this paper, we propose a novel methodology to automatically select the best-possible activation function for each layer of a given DNN, such that the overall DNN accuracy, compared to considering only one type of activation function for the whole DNN, is improved. However, an associated scientific challenge in exploring all the different configurations of activation functions would be time and resource-consuming. Towards this, our methodology identifies the Evaluation Points during learning to evaluate the accuracy in an intermediate step of training and to perform early termination by checking the accuracy gradient of the learning curve. This helps in significantly reducing the exploration time during training. Moreover, our methodology selects, for each layer, the dropout rate that optimizes the accuracy. Experiments show that we are able to achieve on average 7% to 15% Relative Error Reduction on MNIST, CIFAR-10 and CIFAR-100 benchmarks, with limited performance and power penalty on GPUs.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）における層ごとの最適な活性化関数の選択という課題に取り組み、これが精度および複雑性に顕著な影響を及えること。
• 大規模なDNNでは現実的でない、層ごとのすべての活性化関数の組み合わせを探索する計算コストを低減すること。
• 異なる層が異なる活性化関数（ReLU、ELU、SELU）を用いるハイブリッドDNNアーキテクチャを可能にし、性能を向上させること。
• 特にSELUに対してアルファドロップアウトを用いることで自己正規化特性を維持する、層ごとの最適なドロップアウト率を自動的に特定すること。
• 精度勾配解析に基づき、早期評価ポイント（EP）を特定することで、ハイパーパramータ探索中の訓練時間を最小限に抑えること。

提案手法

• 各訓練エポック後に精度曲線の勾配に基づく分析を用い、早期モデル比較に適した最適な評価ポイント（EP）を同定する。
• EPにおいて、層ごとの異なる活性化関数の組み合わせの精度が評価され、性能が劣る構成は早期に終了される。
• 本手法は3種類の活性化関数をサポートする：ReLU（標準ドロップアウト付き）、ELU（標準ドロップアウト付き）、SELU（アルファドロップアウト付き）で、自己正規化特性を保持する。
• 各層において、活性化関数とドロップアウト率を同時に最適化し、最終的な精度を最大化するとともに、訓練時間を最小限に抑える。
• EPは精度勾配のモニタリングにより自動的に選択され、実験ではEPでの比較が完全な訓練と同等の結果をもたらすことが示された。
• 最終出力は、精度を最大化する層固有の活性化関数およびドロップアウト率を持つハイブリッドDNNであり、複数のベンチマークで検証済み。

実験結果

リサーチクエスチョン

• RQ1 特定の層においてReLUをELUまたはSELUに置き換えることで、訓練時間に顕著な影響を与えずにDNNの精度を向上させられるか？
• RQ2 最終精度を劣化させずに、モデル構成の早期選択を行うのに最適な訓練中のタイミングは何か？
• RQ3 特にSELUを用いる場合、異なる活性化関数に応じてドロップアウト率をどのように各層で適応させるか？
• RQ4 精度のトレンドに基づく早期停止により、活性化関数の組み合わせ探索を加速できるか？
• RQ5 早期評価ポイントを用いる際の、訓練時間の短縮と精度向上のトレードオフは何か？

主な発見

• 本手法は、MNIST、CIFAR-10、CIFAR-100ベンチマークにおいて、元のDNNと比較して7%〜15%の相対誤差削減を達成した。
• 訓練時間短縮率（TTR）は、ネットワークおよびデータセットに応じて3.75倍〜7.22倍の範囲を示した。これはEPにおける早期評価によるものである。
• LeNet-5（MNIST）では、最良のハイブリッドモデルがEP=13で99.26%の精度を達成し、17.78%のRERおよび2.31倍のTTRを記録した。
• AlexNet（CIFAR-10）では、ハイブリッドモデルが7.11%のRERを達成し、TTRは7.22倍、消費電力の増加はわずか1.94%であった。
• VGG-16（CIFAR-100）では、TTRが4.48%、RERが15.56%に達し、より深いアーキテクチャへのスケーラビリティが実証された。
• 勾配解析により同定されたEPでは、完全な訓練と同等の精度が得られ、早期停止戦略の有効性が裏付けられた。