[論文レビュー] Learning Activation Functions to Improve Deep Neural Networks

Forest Agostinelli, Matthew D. Hoffman+2 more|arXiv (Cornell University)|Dec 21, 2014

Computational Physics and Python Applications参考文献 13被引用数 349

ひとこと要約

本論文は、各ニューロンが勾配降下法を用いてパrameter化された区分線形形式で自身の活性化関数を学習する、アダプティブ・ピecewise linear (APL) 活性化関数を提案する。この手法は、CIFAR-10（7.51%の誤差）、CIFAR-100（30.83%の誤差）、および高エネルギー物理学分野のヒッグス粒子崩壊タスクにおいて、固定された活性化関数や先行研究のベースラインを上回る最先端の性能を達成した。

ABSTRACT

Artificial neural networks typically have a fixed, non-linear activation function at each neuron. We have designed a novel form of piecewise linear activation function that is learned independently for each neuron using gradient descent. With this adaptive activation function, we are able to improve upon deep neural network architectures composed of static rectified linear units, achieving state-of-the-art performance on CIFAR-10 (7.51%), CIFAR-100 (30.83%), and a benchmark from high-energy physics involving Higgs boson decay modes.

研究の動機と目的

• 深層ニューラルネットワークにおける固定で手作業で設計された活性化関数の制限を解消すること。
• 学習中に活性化関数を学習することで、一般化性能と性能が向上するかを調査すること。
• 凸および非凸な区分線形関数を表現可能な柔軟で微分可能な活性化関数を開発すること。
• 適応的活性化関数が標準ベンチマークおよび実世界の科学的応用に与える影響を評価すること。
• 個別化され、学習された活性化関数が、より優れたモデル表現力と訓練結果をもたらすことを実証すること。

提案手法

• 各ニューロンの活性化関数は、ヘッジ型のReLUユニットの和として定義される：$ h_i(x) = \max(0,x) + \sum_{s=1}^{S} a_i^s \max(0, -x + b_i^s) $。
• パラメータ $ a_i^s $ および $ b_i^s $ は、ネットワーク重みと一緒に標準的な誤差逆伝播法により学習される。
• ヘッジ成分の数 $ S $ はハイパーパrameterであり、主な実験では $ S=2 $ を使用した。
• やや緩い漸近的制約のもとで、任意の連続な区分線形関数を近似可能である。
• Maxout や ReLU とは異なり、凸および非凸な活性化形状の両方を実現可能である。
• 追加パラメータ数は $ 2SM $ であり、ネットワーク全体のパラメータ数に比べて小さい。

実験結果

リサーチクエスチョン

• RQ1 ニューロンごとに活性化関数を学習することで、標準ベンチマークにおける深層ニューラルネットワークの性能が向上するか？
• RQ2 非凸な活性化関数を学習可能にすることで、固定または Maxout スタイルの活性化関数よりも優れた一般化性能が得られるか？
• RQ3 ヘッジ成分の数 $ S $ がモデル性能および表現力にどのように影響するか？
• RQ4 学習された活性化関数は、層やデータセットごとに顕著に異なる変動を示すか？ これは、多様な機能的適応を示唆するか？
• RQ5 実世界の科学的応用、例えばヒッグス粒子崩壊モード分類において、適応的活性化関数が性能向上に寄与するか？

主な発見

• APLベースのネットワークは、CIFAR-10でテスト誤差7.51%を達成し、ReLUベースラインおよびアンサンブル手法を上回った。
• CIFAR-100では、APLモデルが30.83%の誤差率を達成し、先行する最先端手法を顕著に上回った。
• 高エネルギー物理学分野のヒッグス粒子崩壊タスクでは、APLモデルがAUC 0.804および発見意義3.41σを達成し、ReLUベースラインおよびアンサンブルモデルを上回った。
• 初期化時に学習された活性化関数を凍結した場合、僅かな性能低下（誤差12.55%）にとどまり、学習が性能向上に不可欠であることを示した。
• ヘッジ成分数 $ S=5 $ がCIFAR-100で最良の性能（誤差11.38%）を達成したが、$ S=10 $ ではわずかな性能低下が見られた。
• 可視化により、CIFAR-100およびヒッグスタスクでは層ごとに学習された活性化関数のばらつきが大きく、深層部へ進むに従いばらつきが減少する傾向が確認され、層別の適応が顕著であることが示された。