[論文レビュー] Analysis of a Nature Inspired Firefly Algorithm based Back-propagation Neural Network Training

Sudarshan Nandy, Partha Sarkar+1 more|arXiv (Cornell University)|Jun 23, 2012

Advanced Decision-Making Techniques被引用数 50

ひとこと要約

本稿では、勾配降下法に代わるメタヒューティックな最適化手法としての発光甲虫アルゴリズム（FA）をバックプロパゲーション（BP）ニューラルネットワークと統合したハイブリッド火炎虫アルゴリズムを提案する。発光甲虫アルゴリズムの自然由来のメタヒューティック特性を活用してBPの重み更新を最適化することで、従来のBPおよび遺伝的アルゴリズムに基づく手法と比較して、反復回数を減らして収束を高速化し、標準データセット上でも優れた性能を示した。

ABSTRACT

Optimization algorithms are normally influenced by meta-heuristic approach. In recent years several hybrid methods for optimization are developed to find out a better solution. The proposed work using meta-heuristic Nature Inspired algorithm is applied with back-propagation method to train a feed-forward neural network. Firefly algorithm is a nature inspired meta-heuristic algorithm, and it is incorporated into back-propagation algorithm to achieve fast and improved convergence rate in training feed-forward neural network. The proposed technique is tested over some standard data set. It is found that proposed method produces an improved convergence within very few iteration. This performance is also analyzed and compared to genetic algorithm based back-propagation. It is observed that proposed method consumes less time to converge and providing improved convergence rate with minimum feed-forward neural network design.

研究の動機と目的

• 従来のバックプロパゲーションニューラルネットワーク学習における収束の遅さおよび局所最適解の問題を解決すること。
• 自然由来のメタヒューティックなアプローチを用いて、学習効率および収束速度を向上させること。
• 前向き伝播ニューラルネットワーク用に、火炎虫アルゴリズムとバックプロパゲーションを統合したハイブリッド最適化フレームワークを開発すること。
• 提案手法を遺伝的アルゴリズムを含む既存のメタヒューティックに基づく学習手法と比較して評価すること。

提案手法

• 発光甲虫アルゴリズムを前向き伝播ニューラルネットワークのバックプロパゲーションプロセスにおける重みおよびバイアスの更新最適化に用いる。
• 発光甲虫アルゴリズムに由来する集団知能の原則（魅力の強さや光の強度など）が、最適なネットワークパラメータの探索を導く。
• 適応度評価に基づいて学習中に重みを動的に調整することで、勾配降下法に依存するのを軽減する。
• 探索（グローバルサーチ）と活用（ローカル最適化）のバランスを取ることで、反復的にネットワーク性能を改善するハイブリッドシステム。
• 発光甲虫アルゴリズムが、BPにおける標準的な勾配ベースの重み更新ルールを置き換えたり補完したりすることで、収束挙動を向上させる。
• 収束速度および精度を評価するために、標準ベンチマークデータセットを用いて手法を検証する。

実験結果

リサーチクエスチョン

• RQ1 発光甲虫アルゴリズムは、従来の学習手法と比較して、バックプロパゲーションニューラルネットワークの収束速度を顕著に向上させることができるか？
• RQ2 遺伝的アルゴリズムに基づくBPと比較して、提案されたハイブリッド火炎虫-BP法は、学習時間および収束速度においてどのように異なるか？
• RQ3 自然由来の発光甲虫アルゴリズムは、ネットワークの収束に必要な反復回数をどの程度削減できるか？
• RQ4 発光甲虫最適化の統合により、前向き伝播ニューラルネットワークにおける一般化性能の向上や誤差率の低減が達成されるか？

主な発見

• 提案された発光甲虫アルゴリズムを用いたBP学習は、標準的なバックプロパゲーションと比較して、反復回数を減らしてより速やかに収束した。
• 遺伝的アルゴリズムに基づくバックプロパゲーションと比較して、本手法は学習時間を短縮し、収束速度が向上した。
• ハイブリッド手法は標準ベンチマークデータセット上で優れた性能を示し、強靭性と効率性を裏付けた。
• 発光甲虫アルゴリズムは、従来のBP学習で一般的に見られる局所最適解の問題を効果的に軽減した。
• 結果から、発光甲虫アルゴリズムによるメタヒューティック最適化が、ニューラルネットワーク学習の高速化に顕著に寄与することが確認された。
• 本研究では、提案手法がニューラルネットワーク設計の最小限の変更で、顕著な性能向上を達成できることを結論づけた。