[論文レビュー] Adaptive Blending Units: Trainable Activation Functions for Deep Neural Networks

Leon René Sütfeld, Flemming Brieger+3 more|arXiv (Cornell University)|Jun 26, 2018

Domain Adaptation and Few-Shot Learning被引用数 9

ひとこと要約

この論文は、トレーニング中に最適な活性化関数の形状とスケーリングを学習できる、複数の活性化関数のトレーニング可能な線形結合であるアダプティブブレンドユニット（ABUs）を導入する。ABUsは、形状とスケーリングを時間とともに適応的に変化させることで、標準的な活性化関数を著しく上回る性能を発揮し、主に動的適応による性能向上が寄与している。

ABSTRACT

The most widely used activation functions in current deep feed-forward neural networks are rectified linear units (ReLU), and many alternatives have been successfully applied, as well. However, none of the alternatives have managed to consistently outperform the rest and there is no unified theory connecting properties of the task and network with properties of activation functions for most efficient training. A possible solution is to have the network learn its preferred activation functions. In this work, we introduce Adaptive Blending Units (ABUs), a trainable linear combination of a set of activation functions. Since ABUs learn the shape, as well as the overall scaling of the activation function, we also analyze the effects of adaptive scaling in common activation functions. We experimentally demonstrate advantages of both adaptive scaling and ABUs over common activation functions across a set of systematically varied network specifications. We further show that adaptive scaling works by mitigating covariate shifts during training, and that the observed advantages in performance of ABUs likewise rely largely on the activation function's ability to adapt over the course of training.

研究の動機と目的

• 深層学習における活性化関数の特性とタスク・ネットワークの特性を結びつける統一理論の欠如に対処すること。
• ネットワークが自らの活性化関数を学習可能とすることで、トレーニングの効率性と性能が向上するかどうかを調査すること。
• 活性化関数における形状の適応的変更とスケーリングの適応的変更の影響を分離すること。
• 基本的な活性化関数の学習可能な組み合わせ（ABUs）が、固定または手動スケーリングされた代替手法を上回るかどうかを評価すること。
• 性能向上の主な要因が、トレーニング終了時の固定最適形状への収束であるのか、それともトレーニング中における継続的な適応的変更にあるのかを特定すること。

提案手法

• 複数の基本的活性化関数（例：ReLU、ELU、tanh）のトレーニング可能な線形結合としてアダプティブブレンドユニット（ABUs）を提案。各層ごとに学習可能なブレンド重みを有する。
• 標準的な活性化関数（例：α·ReLU(x)、α·ELU(x)、α·tanh(x)）に対して、1層あたり1つのスケーリングパラメータを学習するスケーリングの適応的導入。
• ブレンド重みを正規化することで、形状適応の効果をスケーリングの影響から分離し、形状のみの適応を分析可能にする。
• CIFAR-10で標準的なトレーニングプロトコル（Adam最適化、He初期化）を用い、小規模な全結合ネットワーク（SMCN）を用いて性能を評価。
• 事前学習済みのスケーリングおよびブレンド重みを用いたアブレーションスタディを実施。初期化時の最終値を用い、固定設定と適応設定を比較。
• トレーニング中の前活性化統計を追跡することで、共変量シフトの緩和を分析。安定性と性能向上の関連を明確化。

実験結果

リサーチクエスチョン

• RQ1 トレーニング中に活性化関数の形状とスケーリングを学習させることで、固定活性化関数に比べて一貫した性能向上が得られるか？
• RQ2 ABUsによる性能向上は、形状の適応的変更とスケーリングの適応的変更のどちらに起因しているか？
• RQ3 スケーリングの適応的変更のみで、前活性化統計の安定化と共変量シフトの低減が達成できるか？
• RQ4 ABUsの性能優位性は、固定最適形状への収束に起因するのか、それともトレーニング中の継続的適応的変更が主な要因であるのか？
• RQ5 ABUブレンド重みに異なる正規化戦略を適用した場合、性能にどのような影響が生じるか。これにより、スケーリングの重要性について何が明らかになるか？

主な発見

• ABUsは、CIFAR-10における複数のネットワークアーキテクチャとハイパーパrameter設定において、標準的な活性化関数を一貫して上回る性能を発揮する。
• 標準的活性化関数（例：α·ReLU、α·ELU）のスケーリングを適応的に学習することで、前活性化統計の安定化と共変量シフトの低減が達成され、性能が著しく向上する。
• ABUsによる性能向上は、主にネットワークが活性化関数の形状を時間とともに適応的に変化させることに起因しており、固定最適形への収束そのものではない。
• 初期化後にブレンド重みを事前学習値に固定した場合、大多数のABUバリアントで性能が低下する。これは、継続的な適応的変更が不可欠であることを示している。
• 事前学習後にブレンド重みを正規化した場合、非正規化の事前学習より性能が向上するが、初期値を1/mに設定したデフォルト初期化が最も優れた性能を発揮する。これは、非正規化ABUsがより効果的であることを示唆している。
• 唯一の例外はABU softであり、固定事前学習ブレンド重みではわずかに性能向上を示すが、適応的重みでは性能が劣化する。これは、初期化および正規化に敏感であることを示している。