[論文レビュー] Influence of the learning method in the performance of feedforward neural networks when the activity of neurons is modified

M. Konomi, G. M. Sacha|arXiv (Cornell University)|Apr 21, 2014

Neural Networks and Applications参考文献 16被引用数 3

ひとこと要約

本稿では、バックプロパゲーション（BP）と進化的アルゴリズム（EA）という異なる学習手法が、ニューロン活動に障害が生じた場合の順方向ニューラルネットワークの頑健性に与える影響を調査している。実験の結果、ニューロンの学習後不活性化処理を行っても、EAで学習したネットワークはBPで学習したネットワークよりも顕著に高い正確性と高速な収束を維持していることが示された。これは、EAがニューロン障害に対してより耐性があり、生物学的に妥当な学習システムのモデル化に適している可能性を示唆している。

ABSTRACT

A method that allows us to give a different treatment to any neuron inside feedforward neural networks is presented. The algorithm has been implemented with two very different learning methods: a standard Back-propagation (BP) procedure and an evolutionary algorithm. First, we have demonstrated that the EA training method converges faster and gives more accurate results than BP. Then we have made a full analysis of the effects of turning off different combinations of neurons after the training phase. We demonstrate that EA is much more robust than BP for all the cases under study. Even in the case when two hidden neurons are lost, EA training is still able to give good average results. This difference implies that we must be very careful when pruning or redundancy effects are being studied since the network performance when losing neurons strongly depends on the training method. Moreover, the influence of the individual inputs will also depend on the training algorithm. Since EA keeps a good classification performance when units are lost, this method could be a good way to simulate biological learning systems since they must be robust against deficient neuron performance. Although biological systems are much more complex than the simulations shown in this article, we propose that a smart training strategy such as the one shown here could be considered as a first protection against the losing of a certain number of neurons.

研究の動機と目的

• ニューロン活動の変更が順方向ニューラルネットワークの性能に与える影響を評価すること。
• ニューロン障害の条件下で、バックプロパゲーション（BP）と進化的アルゴリズム（EA）の学習手法の頑健性を比較すること。
• EAがニューロン損失に対する内在的耐性を有するため、生物学的学習システムをよりよく模倣できるかどうかを調査すること。
• ニューロンが不活性化された際の、入力の影響が学習手法によってどのように変化するかを分析すること。
• 学習手法の選択が、 pruning や再冗長性に関する研究における結論に顕著に影響を与えるかどうかを特定すること。

提案手法

• 学習後における個々のニューロンの選択的不活性化を可能にするニューラルネットワークフレームワークを実装した。
• 標準的なバックプロパゲーション（BP）と、進化的アルゴリズム（EA）という2つの異なる学習手法を用いてネットワークを学習させた。
• ネットワークの重みとトポロジー最適化のため、適応度に基づく選択、突然変異、交叉を用いたEAを適用した。
• 複数の構成において、BPおよびEAで学習したネットワークに対して体系的なニューロン不活性化実験を実施した。
• ニューロン障害下での分類正確性と収束速度を測定し、性能を比較した。
• 異なるニューロンの組み合わせと学習手法における入力感受性とネットワークの頑健性を分析した。

実験結果

リサーチクエスチョン

• RQ1 学習後、ニューロンが不活性化された場合、学習手法の選択（BP 対 EA）がネットワーク性能にどのように影響するか？
• RQ2 同じ条件下で、EA学習がBP学習よりも高速な収束と高い正確性を達成するか？
• RQ3 隠れニューロンが失われた場合、EAが分類性能をどの程度維持できるか？
• RQ4 個々の入力の影響は、使用される学習アルゴリズムによってどのように変化するか？
• RQ5 EAで学習したネットワークは、生物学的システムのニューロン dysfuntion に対する耐性をよりよく模倣できるか？

主な発見

• 進化的アルゴリズム（EA）で学習したネットワークは、学習段階でバックプロパゲーション（BP）よりも高速に収束し、より高い正確性を達成した。
• 2つの隠れニューロンを不活性化しても、EAで学習したネットワークは良好な平均分類性能を維持しており、優れた頑健性を示した。
• BPで学習したネットワークは、ニューロン不活性化、特に複数のニューロンが不活性化された状況で顕著な性能低下を示した。
• 個々の入力がネットワーク出力に与える影響は、学習手法に強く依存しており、学習アルゴリズムの選択が入力感受性に影響を与えることが示された。
• EAで学習したネットワークは、ニューロン障害に対してより高い耐性を示し、これは学習手法の選択が pruning や再冗長性に関する研究の結論に顕著に影響を与える可能性を示唆している。
• 結果から、EAはニューロン損失に対する内在的耐性を有するため、生物学的に妥当な学習戦略として機能する可能性があると示唆される。