[論文レビュー] Trainable Activation Function in Image Classification

Zhaohe Liao|arXiv (Cornell University)|Apr 28, 2020

Neural Networks and Applications参考文献 4被引用数 5

ひとこと要約

本稿では、フーリエ級数と標準活性化関数の線形結合を用いて、畳み込みニューラルネットワーク（CNN）における学習可能な活性化関数を提案し、エンド・ツー・エンド最適化を可能にしている。CIFAR-10における実験では、フーリエ-CNNは小規模ネットワークでReLUを上回り、LC-CNNは大規模ネットワークで優れた性能を示した。自己符号化器の事前学習により収束が加速され、精度が向上した。

ABSTRACT

In the current research of neural networks, the activation function is manually specified by human and not able to change themselves during training. This paper focus on how to make the activation function trainable for deep neural networks. We use series and linear combination of different activation functions make activation functions continuously variable. Also, we test the performance of CNNs with Fourier series simulated activation(Fourier-CNN) and CNNs with linear combined activation function (LC-CNN) on Cifar-10 dataset. The result shows our trainable activation function reveals better performance than the most used ReLU activation function. Finally, we improves the performance of Fourier-CNN with Autoencoder, and test the performance of PSO algorithm in optimizing the parameters of networks

研究の動機と目的

• 深層ニューラルネットワークにおける固定で人為的に設計された活性化関数の制限を解消すること。
• 活性化関数が事前に定義されたものではなく、データから学習可能かどうかを調査すること。
• 一般化性能と画像分類性能を向上させる学習可能な活性化関数の開発。
• 自己符号化器の事前学習とPSO最適化の有効性を、学習可能な活性化関数を有するネットワークの学習において評価すること。

提案手法

• 連続的かつパラメータ化された活性化関数を表現するため、フーリエ級数展開を用いて学習可能な活性化関数を構築する。
• 学習可能な重みを有する標準活性化関数（例：ReLU、シグモイド）の線形結合として、学習可能な活性化関数を実装する。
• 固定学習率スケジュールと交差エントロピー損失を用いて、RMSPropを用いてネットワークを学習する。
• ネットワーク重みの初期化および収束速度と最終的精度の向上のため、自己符号化器の事前学習を適用する。
• 粒子群最適化（PSO）を用いてネットワークパラメータを最適化し、適応度を交差エントロピー損失の逆数として定義する。
• グローバルおよびローカル最良を追跡する標準PSO方程式を用いて、粒子の位置と速度を更新する。

実験結果

リサーチクエスチョン

• RQ1 固定された活性化関数（例：ReLU）と比較して、学習可能な活性化関数は画像分類性能を向上させることができるか？
• RQ2 活性化関数をフーリエ級数で表現することで、CNNにおける一般化性能と性能が向上するか？
• RQ3 ネットワークサイズに応じて、活性化関数の線形結合とフーリエ級数の性能はどのように比較されるか？
• RQ4 自己符号化器の事前学習は、学習可能な活性化関数を有するネットワークの学習ダイナミクスと最終的精度を向上させることができるか？
• RQ5 PSOは、学習可能な活性化関数を有するネットワークの最適化において、バックプロパゲーションを上回る性能を示すか？

主な発見

• フーリエ-CNNは、CIFAR-10画像分類タスクにおいて小規模ネットワークでReLUを上回る優れた性能を達成した。
• LC-CNNは大規模ネットワークでReLUおよびフーリエ-CNNを上回り、ネットワークサイズに応じた最適な活性化関数設計の必要性を示した。
• 自己符号化器の事前学習により、学習の安定性と収束速度が顕著に向上し、検証精度がより高い初期値から開始された。
• 事前学習を施したネットワークは、非事前学習の対応物よりも一貫して高い最終的精度に到達した。
• PSO最適化は、RMSPropベースのバックプロパゲーションの約半分の精度にとどまり、与えられた集団サイズと更新頻度ではPSOがこのタスクにはあまり効果的でないことが示唆された。
• 学習可能な活性化関数は性能を劣化させず、適切に学習された場合、モデルの表現力向上の可能性を示した。