[論文レビュー] Trainable Activation Function Supported CNN in Image Classification

Zhaohe Liao|arXiv (Cornell University)|Apr 28, 2020

Neural Networks and Applications被引用数 2

ひとこと要約

本稿では、フーリエ級数と線形結合を用いて、連続的で適応可能な活性化関数の学習を可能にする、トレーナブルな活性化関数をCNNで提案する。CIFAR-10における実験では、Fourier-CNNとLC-CNNがReLUを上回り、自己符号化器とPSO最適化を用いることでさらなる向上が得られる。

ABSTRACT

In the current research of neural networks, the activation function is manually specified by human and not able to change themselves during training. This paper focus on how to make the activation function trainable for deep neural networks. We use series and linear combination of different activation functions make activation functions continuously variable. Also, we test the performance of CNNs with Fourier series simulated activation(Fourier-CNN) and CNNs with linear combined activation function (LC-CNN) on Cifar-10 dataset. The result shows our trainable activation function reveals better performance than the most used ReLU activation function. Finally, we improves the performance of Fourier-CNN with Autoencoder, and test the performance of PSO algorithm in optimizing the parameters of networks

研究の動機と目的

• 深層ニューラルネットワークにおける固定で手作業で設計された活性化関数の制限を解消すること。
• 連続的なパrameterizationを通じて、トレーニング中に活性化関数を適応可能にすること。
• CIFAR-10のようなベンチマークデータセットにおける画像分類性能の向上。
• 自己符号化器やPSOのような最適化戦略がトレーナブルな活性化関数ネットワークに与える影響を調査すること。

提案手法

• 連続的で微分可能となる活性化曲線をモデル化するために、フーリエ級数を用いてトレーナブルな活性化関数を構築する。
• 基本的な活性化関数の線形結合を組み合わせることで、柔軟でトレーナブルな活性化ユニットを構成する。
• バックプロパゲーション中に学習可能な活性化パrameterを備えたFourier-CNNおよびLC-CNNアーキテクチャを実装する。
• 自己符号化器を用いて、Fourier-CNNの特徴表現を事前学習および精緻化し、一般化性能の向上を図る。
• 粒子群最適化（PSO）を用いて、トレーナブルな活性化関数ネットワークのハイパーパrameterを最適化する。
• 標準的なトレーニングプロトコルに従い、CIFAR-10データセット上でモデルを訓練および評価する。

実験結果

リサーチクエスチョン

• RQ1 フーリエ級数で定義されたトレーナブルな活性化関数は、画像分類におけるCNN性能を向上させることができるか？
• RQ2 活性化関数の線形結合は、固定された活性化関数と比較して、精度および収束性においてどのように異なるか？
• RQ3 自己符号化器は、学習可能な活性化を持つFourier-CNNの性能をどの程度向上させることができるか？
• RQ4 PSOは、トレーナブルな活性化関数を備えたCNNのパラメータを効果的に最適化できるか？

主な発見

• Fourier-CNNおよびLC-CNNは、CIFAR-10データセットにおいて、標準的なReLUベースのCNNよりも高い精度を達成する。
• 自己符号化器の使用により、Fourier-CNNの性能が向上し、事前学習によるより良い特徴学習が示された。
• PSO最適化はモデル性能の向上に寄与し、トレーナブルな活性化パラメータのチューニングにおいてその有効性が裏付けられた。
• 提案されたトレーナブルな活性化関数は、トレーニング中に連続的かつ微分可能に適応可能であり、モデルの表現力の向上に寄与した。