[論文レビュー] Padé Activation Units: End-to-end Learning of Flexible Activation Functions in Deep Networks

Alejandro Molina, Patrick Schramowski+1 more|arXiv (Cornell University)|Jul 15, 2019

Advanced Neural Network Applications参考文献 34被引用数 16

ひとこと要約

この論文では、Padé近似を用いた有理関数に基づく学習可能な活性化関数、Padé活性化ユニット（PAUs）を導入する。これにより、柔軟で適応可能な非線形性を備えた、エンド・ツー・エンドでの訓練が可能になる。PAUsは、複数のベンチマークで固定型および学習可能な活性化関数を上回り、ImageNetでは最先端の正確性を達成するとともに、最小限のパラメータコストで、ロバストで安定した訓練を実現する。

ABSTRACT

The performance of deep network learning strongly depends on the choice of the non-linear activation function associated with each neuron. However, deciding on the best activation is non-trivial, and the choice depends on the architecture, hyper-parameters, and even on the dataset. Typically these activations are fixed by hand before training. Here, we demonstrate how to eliminate the reliance on first picking fixed activation functions by using flexible parametric rational functions instead. The resulting Padé Activation Units (PAUs) can both approximate common activation functions and also learn new ones while providing compact representations. Our empirical evidence shows that end-to-end learning deep networks with PAUs can increase the predictive performance. Moreover, PAUs pave the way to approximations with provable robustness. https://github.com/ml-research/pau

研究の動機と目的

• 深層学習における人為的に選択された固定型活性化関数への依存を排除すること。
• エンド・ツー・エンドで最適化可能な、柔軟でパラメータ効率の良い活性化関数を開発すること。
• 深層ネットワークがデータおよびアーキテクチャに適合した最適な活性化形状を学習できるようにすること。
• 安定した勾配（勾配消失なし）と最小限のパラメータコストを備えた普遍近似器を提供すること。
• PAUsが多様なアーキテクチャおよびデータセットにおいて予測性能を向上させることを経験的に検証すること。

提案手法

• PAUsは、$ F(x) = \frac{P(x)}{Q(x)} $ の形をとる有理関数として活性化関数を表現する。ここで $ P(x) $ と $ Q(x) $ はそれぞれ次数 $ m $ と $ n $ の多項式である。
• Padé近似の係数はバックプロパゲーションにより学習され、活性化関数のエンド・ツー・エンド最適化が可能になる。
• 数値的安定性を保証し、勾配爆発を回避するパrameterizationが用いられる。
• 各レイヤーあたりたった10個の追加パラメータで、標準的な深層学習フレームワークにPAUsを統合できる。
• Padé近似理論に裏付けられたアプローチにより、コンactかつ表現力のある関数表現が可能になる。
• 理論的分析により、Padéネットワークが普遍近似器であり、重要な関数的仮定を満たすことが示された。

実験結果

リサーチクエスチョン

• RQ1 有理関数は、深層ニューラルネットワークにおける効果的で学習可能な活性化関数として機能するか？
• RQ2 Padé近似を用いた活性化関数のエンド・ツー・エンド学習は、固定型または人為設計された活性化関数と比較して、予測性能を向上させるか？
• RQ3 PAUsは、深層ネットワークにおける収束速度を向上させるとともに、勾配消失問題を回避できるか？
• RQ4 PAUsの性能は、ImageNetを含む多様なアーキテクチャおよびデータセットにおいて、どのように比較されるか？
• RQ5 PAUsを用いることで、ReLUネットワークへの還元を経て、証明可能なロバスト性やグローバル最適なモデルを導出できるか？

主な発見

• MobileNetV2を用いたImageNetでは、PAUsがトップ-1正確度71.35%を達成し、Swish（71.24%）および他のすべてのベースラインを上回った。
• トップ-5正確度は89.85%で、Swish（89.95%）に次ぐ2位を記録し、優れた一般化性能を示した。
• 15回の実験のうち12回でPAUsは最良のベースラインを上回ったか、同等の性能を達成した。アーキテクチャ全体で、トップ-1正確度においてSwishを41勝0敗で上回った。
• PAUsは、他のすべての活性化関数よりも収束が早く、訓練損失も低く抑えられており、安定的で効率的な訓練が実現していることが示された。
• 異なるモデルにおける41回の実験のうち34～41回でPAUsがすべてのベースラインを上回った。各ベースラインに対して1～8勝の損失にとどまった。
• PAUsは、急激な学習曲線と観察されない勾配消失の事象により、勾配の問題に対してロバストであることが裏付けられた。