[論文レビュー] Using Artificial Bee Colony Algorithm for MLP Training on Earthquake Time Series Data Prediction

Habib Shah, Rozaida Ghazali+1 more|arXiv (Cornell University)|Dec 20, 2011

Neural Networks and Applications参考文献 35被引用数 35

ひとこと要約

本稿では、地震時系列データの予測にマルチレイヤーパーセプトロン（MLP）ネットワークを訓練するため、人工蜂群（ABC）アルゴリズムの使用を提案している。これは従来のバックプロパゲーション（BP）手法に対する代替手段を提供するものである。ABC-MLPモデルは、地震データ上での予測精度および収束速度において、標準的なBPで訓練されたMLPを上回り、複雑で非線形な解空間、特に多数の局所最適解を有する状況においてABCの有効性を示している。

ABSTRACT

Nowadays, computer scientists have shown the interest in the study of social insect's behaviour in neural networks area for solving different combinatorial and statistical problems. Chief among these is the Artificial Bee Colony (ABC) algorithm. This paper investigates the use of ABC algorithm that simulates the intelligent foraging behaviour of a honey bee swarm. Multilayer Perceptron (MLP) trained with the standard back propagation algorithm normally utilises computationally intensive training algorithms. One of the crucial problems with the backpropagation (BP) algorithm is that it can sometimes yield the networks with suboptimal weights because of the presence of many local optima in the solution space. To overcome ABC algorithm used in this work to train MLP learning the complex behaviour of earthquake time series data trained by BP, the performance of MLP-ABC is benchmarked against MLP training with the standard BP. The experimental result shows that MLP-ABC performance is better than MLP-BP for time series data.

研究の動機と目的

• マルチレイヤーパーセプトロン（MLP）の訓練におけるバックプロパゲーションの限界、特に複雑で非線形なデータにおける局所最適解への収束傾向を是正すること。
• 特に人工蜂群（ABC）アルゴリズムを含む生物にインspiredした最適化手法を、時系列予測におけるMLPの代替訓練手法として探求すること。
• 実世界の地震時系列データ上で、ABCで訓練されたMLP（MLP-ABC）と標準的なバックプロパゲーションで訓練されたMLP（MLP-BP）の性能を評価すること。
• 神経ネットワークの地震学的予測への訓練におけるメタヒューリスティック最適化の実現可能性と優位性を示すこと。

提案手法

• マルチレイヤーパーセプトロン（MLP）の重みを最適化するために、ミツバチの採餌行動を模倣する人工蜂群（ABC）アルゴリズムが用いられる。
• ABCアルゴリズムは、使用蜂、見守り蜂、探索蜂を用いて解空間を探索し、予測値と実際の地震時系列値の差異に基づいて適応度を評価する。
• MLPは、予測値と観測された地震データとの間の平均二乗誤差（MSE）を最小化するように、繰り返し重みを更新することでABCを用いて訓練される。
• 同じデータセットとアーキテクチャを用いて、ABCで最適化されたMLPの性能を、標準的なバックプロパゲーションで訓練されたMLPと比較してベンチマークする。
• アルゴリズムは、予測誤差に基づいて導出された適応度関数を通じて解を評価し、誤差が小さい重み設定へ向かう探索を促進する。
• 局所探索（使用蜂）、グローバル選択（見守り蜂）、ランダム探索（探索蜂）を交互に実行することで、早期収束を回避する。

実験結果

リサーチクエスチョン

• RQ1 人工蜂群（ABC）アルゴリズムは、地震時系列予測のためのMLPを効果的に訓練でき、標準的なバックプロパゲーションを上回る性能を示せるか？
• RQ2 地震データ上でのABCで訓練されたMLPの収束速度および予測精度は、バックプロパゲーションで訓練されたMLPと比べてどのように異なるか？
• RQ3 ABCは、地震時系列の非凸な誤差面において、局所最適解への収束確率を低下させるか？
• RQ4 メタヒューリスティック最適化は、複雑で現実世界の時系列データに対する神経ネットワーク訓練における汎化性能とロバストネスにどのような影響を及ぼすか？

主な発見

• MLP-ABCモデルは、地震時系列データ上での予測精度が、標準的なバックプロパゲーションで訓練されたMLPを上回った。
• ABCで最適化されたMLPは、バックプロパゲーションと比較して、より速い収束速度を示し、局所最適解への感受性が低減した。
• 実験結果により、ABCが地震時系列の複雑で多峰性を持つ誤差ランドスケープを効果的に探索できることを確認した。
• MSEの値が低くなったなど、複数の評価指標において一貫した性能向上が得られた。
• 本研究では、ABCのような生物にインスパイアされた最適化手法が、特定の時系列予測タスクにおいて勾配ベース手法の代替として実用的かつ優れた選択肢であると検証した。