[논문 리뷰] Influence of the learning method in the performance of feedforward neural networks when the activity of neurons is modified

M. Konomi, G. M. Sacha|arXiv (Cornell University)|2014. 04. 21.

Neural Networks and Applications참고 문헌 16인용 수 3

한 줄 요약

이 논문은 뉴런 활동이 손상될 경우 피드포워드 신경망의 강건성에 영향을 미치는 다양한 학습 방법—역전파(BP)와 진화 알고리즘(EA)—의 영향을 조사한다. 실험 결과, BP 네트워크와 비교해 EA로 학습한 네트워크는 뉴런을 후기 훈련 시 비활성화한 후에도 유의미하게 높은 정확도와 더 빠른 수렴 속도를 유지함을 보여주며, 이는 EA가 뉴런 고장에 더 강건하며 생물학적으로 타당한 학습 시스템을 모델링하는 데 더 적합하다는 것을 시사한다.

ABSTRACT

A method that allows us to give a different treatment to any neuron inside feedforward neural networks is presented. The algorithm has been implemented with two very different learning methods: a standard Back-propagation (BP) procedure and an evolutionary algorithm. First, we have demonstrated that the EA training method converges faster and gives more accurate results than BP. Then we have made a full analysis of the effects of turning off different combinations of neurons after the training phase. We demonstrate that EA is much more robust than BP for all the cases under study. Even in the case when two hidden neurons are lost, EA training is still able to give good average results. This difference implies that we must be very careful when pruning or redundancy effects are being studied since the network performance when losing neurons strongly depends on the training method. Moreover, the influence of the individual inputs will also depend on the training algorithm. Since EA keeps a good classification performance when units are lost, this method could be a good way to simulate biological learning systems since they must be robust against deficient neuron performance. Although biological systems are much more complex than the simulations shown in this article, we propose that a smart training strategy such as the one shown here could be considered as a first protection against the losing of a certain number of neurons.

연구 동기 및 목표

• 뉴런 활동 수정이 피드포워드 신경망 성능에 미치는 영향을 평가하기 위해.
• 뉴런 고장 조건 하에서 역전파(BP)와 진화 알고리즘(EA) 학습 방법의 강건성 비교를 위해.
• EA가 뉴런 손실에 대한 내재된 강건성 덕분에 생물학적 학습 시스템을 더 잘 모사할 수 있는지 조사하기 위해.
• 뉴런을 비활성화했을 때 훈련 방법에 따라 입력의 영향력이 어떻게 변하는지 분석하기 위해.
• 훈련 방법 선택이 잘라내기 또는 중복성 연구에서 결론에 결정적인 영향을 미치는지 확인하기 위해.

제안 방법

• 후기 훈련 시 개별 뉴런의 선택적 비활성화를 허용하는 신경망 프레임워크를 구현하였다.
• 표준 역전파(BP)와 진화 알고리즘(EA)이라는 두 가지 다른 학습 방법을 사용해 네트워크를 훈련시켰다.
• 네트워크 가중치와 구조 최적화를 위해 적합도 기반 선택, 돌연변이, 교배를 적용한 EA를 적용하였다.
• 다양한 구성에서 BP 및 EA로 훈련된 네트워크에 대해 체계적인 뉴런 비활성화 실험을 수행하였다.
• 뉴런 고장 조건 하에서 분류 정확도와 수렴 속도를 측정하여 성능을 비교하였다.
• 다양한 뉴런 조합과 훈련 방법에 따라 입력 민감도와 네트워크 강건성 분석을 수행하였다.

실험 결과

연구 질문

• RQ1 후기 훈련 시 뉴런을 비활성화했을 때 학습 방법 선택(BP 대 EA)이 네트워크 성능에 어떤 영향을 미치는가?
• RQ2 동일한 조건에서 EA 학습이 BP에 비해 더 빠른 수렴 속도와 더 높은 정확도를 달성하는가?
• RQ3 은닉 뉴런 손실이 발생했을 때 EA가 분류 성능를 얼마나 잘 유지하는가?
• RQ4 개별 입력의 영향력은 어떤 훈련 알고리즘을 사용하느냐에 따라 어떻게 달라지는가?
• RQ5 EA로 학습한 네트워크는 생물학적 시스템의 뉴런 dysfunciton에 대한 내성을 더 잘 모사할 수 있는가?

주요 결과

• 훈련 단계 동안 진화 알고리즘(EA) 학습 방법이 역전파(BP)에 비해 더 빠른 수렴 속도와 더 높은 정확도를 달성하였다.
• 은닉 뉴런 2개를 비활성화한 후에도 EA로 학습한 네트워크는 양호한 평균 분류 성능을 유지하여 뛰어난 강건성을 입증하였다.
• BP로 학습한 네트워크는 뉴런 비활성화 시 성능 저하가 심각하게 나타났으며, 특히 다수의 뉴런이 비활성화된 경우 더욱 뚜렷하였다.
• 개별 입력의 네트워크 출력에 대한 영향력은 훈련 방법에 따라 더 의존적이었으며, 이는 훈련 알고리즘 선택이 입력 민감도에 영향을 미친다는 것을 시사한다.
• EA로 학습한 네트워크는 뉴런 고장에 더 강건한 것으로 나타나, 잘라내기 및 중복성 연구에서의 결론에 훈련 방법 선택이 결정적인 영향을 미칠 수 있음을 시사한다.
• 결과적으로 EA는 뉴런 손실에 대한 내재된 강건성 덕분에 생물학적으로 더 타당한 학습 전략이 될 수 있음을 시사한다.