[論文レビュー] Approximating Activation Functions

Nicholas Gerard Timmons, Andrew Rice|arXiv (Cornell University)|Jan 17, 2020

Machine Learning and Algorithms参考文献 20被引用数 11

ひとこと要約

この論文は、特にLSTMにおけるニューラルネットワークで使用されるシグモイド関数および双曲正接関数の高速かつ高精度な近似を提案する。関数近似技術を用いて、安全で入力ドメインに制限を設けた近似を構築し、CPU上で10–37%、入力ドメイン制限付きでは20–53%のトレーニング時間を短縮した。これはTheanoやWord2Vecで使用されている既存の実装を上回る性能を示した。

ABSTRACT

ReLU is widely seen as the default choice for activation functions in neural networks. However, there are cases where more complicated functions are required. In particular, recurrent neural networks (such as LSTMs) make extensive use of both hyperbolic tangent and sigmoid functions. These functions are expensive to compute. We used function approximation techniques to develop replacements for these functions and evaluated them empirically on three popular network configurations. We find safe approximations that yield a 10% to 37% improvement in training times on the CPU. These approximations were suitable for all cases we considered and we believe are appropriate replacements for all networks using these activation functions. We also develop ranged approximations which only apply in some cases due to restrictions on their input domain. Our ranged approximations yield a performance improvement of 20% to 53% in network training time. Our functions also match or considerably out perform the ad-hoc approximations used in Theano and the implementation of Word2Vec.

研究の動機と目的

• シグモイド関数やtanh関数といった計算コストの高い活性化関数の計算コストを低減すること。
• モデルの精度を維持しつつトレーニング速度を向上させる実用的で経験的に検証された近似を構築すること。
• 機械学習ライブラリにおける標準的な活性化関数の即座に置き換え可能な代替手段を提供すること。
• 複数のネットワークアーキテクチャにわたり、近似がトレーニングおよび推論性能に与える影響を評価すること。
• 近似がTheano や Word2Vec といった人気フレームワークで使用されているアドホックな実装を上回ることを実証すること。

提案手法

• 有理関数および指数関数的近似を用いて、シグモイド関数用の安全な近似 sigm_fastexp_512 とtanh関数用の近似 tanh_pade_4_4 を提案した。
• 特定の入力ドメインに制限を設けることで、より高い性能向上を達成する「範囲制限付き近似」を考案した。
• トレーニングおよび推論時間の向上を評価するために、3つの代表的なニューラルネットワークアーキテクチャを用いた実験的ベンチマークを実施した。
• CPUベースのトレーニングおよび推論ワークロードを用いて、性能向上の有効性を検証した。
• JuliaのFluxライブラリに実装・オープンソース化し、TensorFlowを用いた性能比較による検証も実施した。
• 複数のモデルおよびデータセットを用いて、トレーニング時間、損失、収束性を測定することで、近似の妥当性を検証した。

実験結果

リサーチクエスチョン

• RQ1 関数近似技術をシグモイド関数およびtanh活性化関数に効果的に適用することで、モデルの精度を損なわずトレーニング時間を短縮できるか？
• RQ2 提案された安全で範囲制限付きの近似は、Theano や Word2Vec で使用されている既存の近似と比較して、速度および精度の点で優れているか？
• RQ3 これらの近似は、LSTM やフィードフォワードネットワークといった実世界のニューラルネットワークアーキテクチャにどのような性能影響を与えるか？
• RQ4 近似は、トレーニング収束性および損失の安定性にどの程度の影響を与えるか？
• RQ5 これらの近似は、主流の機械学習ライブラリに即座に置き換え可能な形で効果的に統合できるか？

主な発見

• 安全な近似である sigm_fastexp_512 および tanh_pade_4_4 は、全テストネットワークで10%～37%のトレーニング時間短縮を達成し、モデル精度に悪影響を及げなかった。
• 範囲制限付き近似は、20%～53%のトレーニング時間短縮を達成したが、特定の入力ドメインに限定された使用にとどまる。
• 近似はTheano や Word2Vec で使用されているアドホックな近似を、速度およびトレーニング安定性の両面で上回った。
• 新しい近似を用いることで、損失は安定的あるいは改善され、モデル収束に悪影響がないことが示された。
• 近似はトレーニングだけでなく推論時にも有効であったため、広範な適用可能性が示された。
• 経験的評価により、近似が機械学習ライブラリにおける標準的な活性化関数の即座に置き換え可能な代替手段として実用的であることが確認された。