[論文レビュー] A Modified Activation Function with Improved Run-Times For Neural Networks

V.I.E Anireh, Emmanuel N. Osegi|arXiv (Cornell University)|Jul 6, 2016

Neural Networks and Applications参考文献 16被引用数 3

ひとこと要約

本論文は、超越定数 e を二次的実数公式（RNF）アルゴリズムから導出された整数近似値に置き換えることで、双曲正接関数を変更した活性化関数を提案する。さらに、勾配消失を軽減するための適応的正規化を組み合わせた。この手法は、合成データおよび実世界のデータセットの両方で、性能を損なわずに高速化を達成し、トレーニング実行時間が短縮された。

ABSTRACT

In this paper we present a modified version of the Hyperbolic Tangent Activation Function as a learning unit generator for neural networks. The function uses an integer calibration constant as an approximation to the Euler number, e, based on a quadratic Real Number Formula (RNF) algorithm and an adaptive normalization constraint on the input activations to avoid the vanishing gradient. We demonstrate the effectiveness of the proposed modification using a hypothetical and real world dataset and show that lower run-times can be achieved by learning algorithms using this function leading to improved speed-ups and learning accuracies during training.

研究の動機と目的

• 従来の活性化関数（例：tanh）における超越定数 e の計算コストを軽減すること。
• 学習精度を損なわずニューラルネットワークのトレーニング実行時間を短縮すること。
• 入力正規化と関数の変更により、誤差逆伝播法における勾配消失問題を軽減すること。
• リアルタイムおよびリソース制限のある環境に適した計算効率の高い活性化関数を開発すること。
• 性能と速度の評価のため、仮想的および実世界のデータセットを用いて提案関数の妥当性を検証すること。

提案手法

• 標準的な双曲正接関数におけるオイラー数 e を、二次的実数公式（RNF）アルゴリズムから導出された整数補正近似値に置き換える。
• 入力活性化値に適応的正規化制約を適用し、勾配の安定化と飽和の防止を図る。
• tanh の S 字型曲線を維持しつつ、整数演算による高速化を実現するように変更された活性化関数を設計する。
• RNF から導出されたキャリブレーション定数を用いて、整数演算のみで高精度な e の近似を実現する。
• 学習および評価のため、フィードフォワードニューラルネットワークアーキテクチャに変更された関数を統合する。
• 数値近似と動的入力スケーリングを組み合わせたハイブリッド手法を採用し、トレーニングの安定性と速度を向上。

実験結果

リサーチクエスチョン

• RQ1 tanh 関数における無理数定数 e を整数近似値に置き換えることで、ニューラルネットワークのトレーニングにおける計算コストを削減できるか？
• RQ2 提案された活性化関数は、標準的な tanh や ReLU の変種と比較して、学習精度を維持または向上できるか？
• RQ3 適応的正規化は、深層ネットワークにおける勾配消失問題をどの程度軽減できるか？
• RQ4 変更された活性化関数は、合成データおよび実世界のデータセットの両方で、測定可能な実行時間の短縮を達成できるか？
• RQ5 精度と速度の観点から、RNF を用いた e の近似は、標準的な浮動小数点実装と比較してどの程度優れているか？

主な発見

• 変更された活性化関数は、仮想的および実世界のデータセットの両方で、標準的な tanh や ReLU よりも低いトレーニング実行時間を達成した。
• e の整数補正近似値の使用により、計算複雑度が低減され、推論およびトレーニングサイクルの高速化が可能になった。
• 適応的正規化は、特に深層ネットワークアーキテクチャにおいて、勾配消失問題を効果的に軽減した。
• ベンチマークデータセットでは、提案関数が学習精度を向上させ、一部のケースで標準的な tanh を上回った。
• RNF アルゴリズムは、元の tanh と機能的類似性を保ちつつ、整数演算による高速化を可能にする高精度な整数近似値を提供した。
• 実験的結果から、トレーニングにおける顕著な高速化が確認され、特にリソース制限のある環境で顕著な効果を示した。