[論文レビュー] Activation Ensembles for Deep Neural Networks

Mark E. Harmon, Diego Klabjan|arXiv (Cornell University)|Feb 24, 2017

Machine Learning and Data Classification参考文献 18被引用数 14

ひとこと要約

本稿では、各ニューロンで学習可能な重み（α）と適応的オフセット（η, δ）を用いて複数の活性化関数を動的に組み合わせる、活性化関数アンサンブルという新規手法を提案する。この手法により、深層ネットワークは各層で最適な活性化関数の組み合わせを選択可能となり、MNIST、ISOLET、CIFAR-100、STL-10の複数のデータセットで性能向上を達成。学習されたα値を用いた解析により、活性化関数のダイナミクスに関する深い洞察が得られる。

ABSTRACT

Many activation functions have been proposed in the past, but selecting an adequate one requires trial and error. We propose a new methodology of designing activation functions within a neural network at each layer. We call this technique an "activation ensemble" because it allows the use of multiple activation functions at each layer. This is done by introducing additional variables, $α$, at each activation layer of a network to allow for multiple activation functions to be active at each neuron. By design, activations with larger $α$ values at a neuron is equivalent to having the largest magnitude. Hence, those higher magnitude activations are "chosen" by the network. We implement the activation ensembles on a variety of datasets using an array of Feed Forward and Convolutional Neural Networks. By using the activation ensemble, we achieve superior results compared to traditional techniques. In addition, because of the flexibility of this methodology, we more deeply explore activation functions and the features that they capture.

研究の動機と目的

• 従来の試行錯誤に依存する手法に依存せずに、深層ニューラルネットワークにおける最適な活性化関数の選択という課題に取り組むこと。
• 各ニューロンで固定の活性化関数を使用するのではなく、動的でデータ駆動型の活性化関数選択を可能にすること。
• 複数の実証済み活性化関数の長所を凸結合によって組み合わせることで、モデルの精度と特徴量学習を向上させること。
• 学習されたαパラメータを用いて、ネットワークの深さ、アーキテクチャ、データセットに応じた活性化関数の選択傾向を解明すること。
• フィードフォワード、畳み込み、残差、自己符号化器ネットワークを含む多様なアーキテクチャにおいて、活性化関数アンサンブルの有効性を実証すること。

提案手法

• 各ニューロンにおける各活性化関数ごとに学習可能なパラメータαを導入し、複数の活性化関数を凸結合として組み合わせる。
• オフセットパラメータηとδを用いて、各活性化関数の正規化範囲を動的に調整し、関数の性質を保持する。
• 訓練中に標準的な誤差逆伝播法を用いてα、η、δを最適化し、ネットワークが最良の活性化関数の混合を学習できるようにする。
• α値が有効な凸結合空間に射影されるように、安定性と解釈可能性を保つための新規射影アルゴリズムを導入する。
• 重みの縛りを用いて対称性を強制するなど、重み共有を導入した自己符号化器を含め、フィードフォワードネットワーク、CNN、残差ネットワーク、自己符号化器に本手法を適用する。
• MNIST、ISOLET、CIFAR-100、STL-10の各データセットで、平均二乗誤差と分類精度を評価指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 各ニューロンで複数の活性化関数を動的に組み合わせることで、異なるデータセットおよびアーキテクチャにおける深層学習性能にどのような影響を与えるか？
• RQ2 ネットワークは、各層および各ニューロンで最適な活性化関数の組み合わせを学習可能であり、固定の活性化関数に依存するのではなく、動的選択が可能か？
• RQ3 学習されたα値は、ネットワークの深さ、アーキテクチャタイプ、データセットに応じてどのように変化するか。これにより、活性化関数の好みに関する洞察が得られるか？
• RQ4 特に残差ネットワークにおいて、CIFAR-100のような難易度の高いベンチマークで、活性化関数アンサンブル手法が性能向上をもたらすか？
• RQ5 異なる活性化関数のセット（例：ReLUの変種、シグモイド、tanh）は、性能にどの程度寄与するか。これはデータセットに応じてどのように変化するか？

主な発見

• 活性化関数アンサンブル手法は、MNIST、ISOLET、CIFAR-100において、標準的な活性化関数よりも優れた分類精度を達成した。
• CIFAR-100において、残差ネットワークでも性能向上が確認され、特に残差ブロックの中間部にアンサンブルを配置した場合に最も良い結果が得られた。
• 学習されたα値の分析から、異なる活性化関数が異なる層で最適であることが明らかになった。MNISTでは上位層でReLUが優勢だったが、下位層ではtanhおよび逆絶対値関数が好まれた。
• ISOLETでは初期層では特定の活性化関数が優位ではなかったが、最終層ではtanhが選択された。これはデータセットに特化した適応性を示している。
• 残差ネットワークでは、異なる切片を持つReLUの第二の変種（第二類型）が最も優れた性能を示し、ReLUが残差接続の役割を果たすことに合致した。
• STL-10の自己符号化器において、絶対値に類似した関数を含むアンサンブルと重み共有を組み合わせた手法が、効果的な再構成を達成した。これは分類タスクを超えた一般化能力を示している。