[논문 리뷰] Using Artificial Bee Colony Algorithm for MLP Training on Earthquake Time Series Data Prediction

Habib Shah, Rozaida Ghazali외 1명|arXiv (Cornell University)|2011. 12. 20.

Neural Networks and Applications참고 문헌 35인용 수 35

한 줄 요약

이 논문은 지진 시계열 데이터 예측을 위해 다층 퍼셉트론(Multilayer Perceptron, MLP) 네트워크를 훈련시키는 데 인공 벌 개미(Artificial Bee Colony, ABC) 알고리즘을 사용하는 것을 제안하며, 기존의 전파(backpropagation, BP) 방법에 대한 대안을 제공한다. ABC-MLP 모델은 지진 데이터에서 표준 BP로 훈련된 MLP보다 예측 정확도와 수렴 속도에서 뛰어나며, 다수의 국소 최적해를 가진 복잡한 비선형 해 공간을 효과적으로 탐색할 수 있음을 보여준다.

ABSTRACT

Nowadays, computer scientists have shown the interest in the study of social insect's behaviour in neural networks area for solving different combinatorial and statistical problems. Chief among these is the Artificial Bee Colony (ABC) algorithm. This paper investigates the use of ABC algorithm that simulates the intelligent foraging behaviour of a honey bee swarm. Multilayer Perceptron (MLP) trained with the standard back propagation algorithm normally utilises computationally intensive training algorithms. One of the crucial problems with the backpropagation (BP) algorithm is that it can sometimes yield the networks with suboptimal weights because of the presence of many local optima in the solution space. To overcome ABC algorithm used in this work to train MLP learning the complex behaviour of earthquake time series data trained by BP, the performance of MLP-ABC is benchmarked against MLP training with the standard BP. The experimental result shows that MLP-ABC performance is better than MLP-BP for time series data.

연구 동기 및 목표

• 복잡한 비선형 데이터에서 국소 최적해로 수렴하는 경향이 있는 전파 방법의 한계를 해결하기 위해.
• 특히 자연에서 영감을 받은 최적화 기법—구체적으로 인공 벌 개미(ABC) 알고리즘—을 사용하여 시계열 예측에서 MLP의 훈련 방법을 탐색하기 위해.
• 실제 지진 시계열 데이터에서 ABC로 훈련된 MLP(MLP-ABC)의 성능을 표준 전파로 훈련된 MLP(MLP-BP)와 비교하기 위해.
• 메타휴리스틱 최적화 기법이 지구물학적 예측을 위한 신경망 훈련에서 실현 가능하고 우월함을 입증하기 위해.

제안 방법

• 다층 퍼셉트론(Multilayer Perceptron, MLP)의 가중치를 최적화하기 위해 인공 벌 개미(ABC) 알고리즘을 사용하며, 꿀벌의 번식 행동을 시뮬레이션한다.
• ABC 알고리즘은 종사 벌(employed bees), 관찰 벌(onlookers), 탐색 벌(scouts)을 사용하여 해 공간을 탐색하며, 예측값과 실제 지진 시계열 값 간의 오차를 기반으로 적합도를 평가한다.
• 예측된 지진 데이터와 관측된 지진 데이터 간의 평균 제곱 오차(Mean Squared Error, MSE)를 최소화하도록 반복적으로 가중치를 업데이트하여 MLP를 ABC로 훈련시킨다.
• 동일한 데이터셋과 아키텍처를 사용하여 ABC 최적화된 MLP의 성능을 표준 전파로 훈련된 MLP와 비교하는 기준을 설정한다.
• 해를 평가하기 위해 예측 오차에서 유도된 적합도 함수를 사용하며, 이는 낮은 오차의 가중치 구성으로 향하는 탐색을 이끈다.
• 지역 탐색(종사 벌), 전역 선택(관찰 벌), 무작위 탐색(탐색 벌)을 번갈아 사용하여 조기 수렴을 방지한다.

실험 결과

연구 질문

• RQ1 인공 벌 개미(ABC) 알고리즘이 지진 시계열 예측을 위한 MLP 훈련에 효과적으로 작용하여 표준 전파 방법을 능가할 수 있는가?
• RQ2 지진 데이터에서 ABC로 훈련된 MLP의 수렴 속도와 예측 정확도는 전파로 훈련된 경우와 비교해 어떻게 다른가?
• RQ3 지진 시계열의 비凸(error surface)에서 ABC는 국소 최적해로 수렴할 가능성을 줄이는가?
• RQ4 메타휴리스틱 최적화는 복잡한 실세계 시계열에 대한 신경망 훈련에서 일반화 능력과 강건성에 어떤 영향을 미치는가?

주요 결과

• MLP-ABC 모델은 지진 시계열 데이터에서 표준 전파로 훈련된 MLP보다 더 높은 예측 정확도를 달성했다.
• ABC 최적화된 MLP는 전파 방법보다 더 빠른 수렴 속도를 보였고, 국소 최적해에 민감도가 낮았다.
• 실험 결과는 ABC가 지진 시계열의 복잡하고 다중 최적해를 가진 오차 표면을 효과적으로 탐색할 수 있음을 확인했다.
• 다양한 평가 지표에서 일관된 성능 향상이 있었으며, MLP-ABC의 경우 더 낮은 평균 제곱 오차(MSE) 값이 보고되었다.
• 이 연구는 ABC와 같은 생물학적 최적화 기법을 특정 시계열 예측 작업에서 기울기 기반 방법보다 실현 가능하고 우월한 대안으로 활용할 수 있음을 검증한다.