[論文レビュー] ProbAct: A Probabilistic Activation Function for Deep Neural Networks

Kumar Shridhar, Joonho Lee+7 more|arXiv (Cornell University)|May 26, 2019

Adversarial Robustness in Machine Learning参考文献 40被引用数 24

ひとこと要約

この論文では、学習可能な平均と分散で定義されたガウス分布から出力をサンプリングする、新しい確率的で学習可能な活性化関数であるProbActを紹介する。順伝播時に確率的ノイズを注入することで、ProbActは正則化の役割を果たし、一般化性能と不確実性推定を向上させる。画像データセットではReLUより2–3%高い精度を達成し、テキストデータセットでは1–2%高い精度を示す。データ削減やノイズのある入力下でも同様の性能向上が確認された。

ABSTRACT

Activation functions play an important role in training artificial neural networks. The majority of currently used activation functions are deterministic in nature, with their fixed input-output relationship. In this work, we propose a novel probabilistic activation function, called ProbAct. ProbAct is decomposed into a mean and variance and the output value is sampled from the formed distribution, making ProbAct a stochastic activation function. The values of mean and variances can be fixed using known functions or trained for each element. In the trainable ProbAct, the mean and the variance of the activation distribution is trained within the back-propagation framework alongside other parameters. We show that the stochastic perturbation induced through ProbAct acts as a viable generalization technique for feature augmentation. In our experiments, we compare ProbAct with well-known activation functions on classification tasks on different modalities: Images(CIFAR-10, CIFAR-100, and STL-10) and Text (Large Movie Review). We show that ProbAct increases the classification accuracy by +2-3% compared to ReLU or other conventional activation functions on both original datasets and when datasets are reduced to 50% and 25% of the original size. Finally, we show that ProbAct learns an ensemble of models by itself that can be used to estimate the uncertainties associated with the prediction and provides robustness to noisy inputs.

研究の動機と目的

• 深層ニューラルネットワークにおける決定的活性化関数の限界を克服するため、生物学的ニューロンノイズにインspiredされた確率的性質を導入すること。
• 特にデータが少ない状況やノイズのある入力下でも、モデルの一般化性能と過学習に対するロバスト性を向上させること。
• 活性化出力の確率的性質を通じて、不確実性推定と暗黙のモデルアンサンブル学習を可能にすること。
• 平均と分散のトレーニング可能なパラメータを統合できる微分可能で誤差逆伝搬可能な活性化関数を設計すること。
• 画像とテキストの多様なモダリティにおいて、標準ベンチマークを用いて、データ量やノイズ条件の変化に応じたProbActの評価を行うこと。

提案手法

• ProbActは、ニューロンごとに学習可能な平均と分散を持つガウス分布から出力をサンプリングすることで確率的活性化を定義する。
• 平均と分散は、既知の関数を用いて固定される場合もあれば、ネットワーク重みとともにバックプロパゲーションによってエンドツーエンドで学習される場合もある。
• 確率的サンプリングは、活性化前の値に適用され、ノイズを導入することで、ある種の特徴拡張（データ拡張）の役割を果たす。
• この手法により、複数回の確率的順伝播によって異なる予測が得られ、不確実性推定が可能な暗黙のモデルアンサンブル学習が可能になる。
• 再パrameter化を用いて確率的出力の勾配を計算することで、サンプリングプロセスを介した誤差逆伝搬が可能になる。
• 単一、チャネル単位、要素単位の学習可能な平均と分散という異なる設定を評価し、収束性とパラメータ効率とのトレードオフを検証した。

実験結果

リサーチクエスチョン

• RQ1 確率的で学習可能な活性化関数であるProbActは、決定的関数と比較して、深層ニューラルネットワークの一般化性能を向上させることができるか？
• RQ2 ProbActが導入する確率的性質は、データが少ない状況やノイズのある状況において、効果的な正則化として機能するか？
• RQ3 追加のアーキテクチャ変更なしに、ProbActは不確実性推定と敵対的またはノイズのある入力に対するロバスト性を実現できるか？
• RQ4 要素単位と単一の平均・分散といった異なるパラメータ化戦略は、収束性と性能にどのように影響を与えるか？
• RQ5 ProbActは、視覚とNLPのベンチマークにおいて、ReLUや他の標準的な活性化関数をどれほど上回るか？

主な発見

• CIFAR-10、CIFAR-100、STL-10データセットにおいて、ProbActはReLUや他の従来の活性化関数よりも分類精度を2–3%向上させた。
• Large Movie Reviewデータセットでは、ProbActはReLUよりも1–2%の精度向上を達成し、NLPタスクにおける有効性を示した。
• 訓練データをたった25%に制限しても、ProbActは優れた性能を維持しており、データが少ない状況下での強力な一般化性能を示した。
• ProbActがもたらす確率的摂動は、データ拡張（アクティベーションによる拡張）の一種として機能し、過学習を軽減し、ロバスト性を向上させた。
• ProbActは暗黙のモデルアンサンブル学習を可能にし、異なるサンプルを用いた複数回の順伝播により不確実性推定が可能になった。
• 分散を固定値2に設定した場合、ProbActはドロップアウトを用いたReLUと同等のテスト精度を達成し、両者を組み合わせることでさらなる性能向上が得られた。