[論文レビュー] Lamarckian Evolution and the Baldwin Effect in Evolutionary Neural Networks

Pedro Á. Castillo, M. G. Arenas+5 more|ArXiv.org|Mar 1, 2006

Neural Networks and Applications参考文献 20被引用数 15

ひとこと要約

本論文は、G-Propというハイブリッド遺伝的アルゴリズム（MLPの重み、トポロジー、学習パラメータを最適化するQuick-Propagationを組み合わせたもの）を用いて、神経進化計算アルゴリズムにおけるラマルク的進化およびバラムズ効果の影響を調査する。結果として、ラマルク的アプローチは、より小さい、より速く収束するネットワークで低い誤差率を達成するのに対し、バラムズ効果はわずかに高い正確性をもたらすが、より多くの世代とより大きなアーキテクチャを必要とする。

ABSTRACT

Hybrid neuro-evolutionary algorithms may be inspired on Darwinian or Lamarckian evolu- tion. In the case of Darwinian evolution, the Baldwin effect, that is, the progressive incorporation of learned characteristics to the genotypes, can be observed and leveraged to improve the search. The purpose of this paper is to carry out an exper- imental study into how learning can improve G-Prop genetic search. Two ways of combining learning and genetic search are explored: one exploits the Baldwin effect, while the other uses a Lamarckian strategy. Our experiments show that using a Lamarckian op- erator makes the algorithm find networks with a low error rate, and the smallest size, while using the Bald- win effect obtains MLPs with the smallest error rate, and a larger size, taking longer to reach a solution. Both approaches obtain a lower average error than other BP-based algorithms like RPROP, other evolu- tionary methods and fuzzy logic based methods

研究の動機と目的

• 多層パーセプトロンのための神経進化的探索を改善するためのバラムズ効果およびラマルク的メカニズムの有効性を評価すること。
• 遺伝子型を変更せずに、ラマルク的局所探索とバラムズ的学習を用いたG-Propの性能を比較すること。
• 学習を進化プロセスに組み込むことで、一般化性能、収束速度、ネットワークサイズの効率性が向上するかどうかを評価すること。
• 分類および関数近似タスクにおいて、RPROP、ファジィ論理手法、および先行するニューラルネットワーク設計と比較して、両手法のベンチマークを実施すること。

提案手法

• G-Propを用い、遺伝的アルゴリズムとQuick-Propagation（QP）を組み合わせたハイブリッド進化的アルゴリズムを採用し、最適化された重み、トポロジー、学習パラメータを有するMLPを進化させる。
• ラマルク的戦略として、フィットネス評価後に局所学習（誤差逆伝播）を用いて遺伝子型を変更することで、獲得した特徴を子孫に受け継がせる。
• バラムズ効果を適用する際は、遺伝子型を変更せずにフィットネス評価中に表現型の学習を許容し、学習能力を選択的優位性として模擬する。
• エリート主義戦略を用いて世代間で最良の個体を保持し、学習による改善が維持されるようにする。
• 200体の個体、300世代という一貫したEAパラメータを用いて、2つのベンチマーク問題（Glass1a：パターン分類、f₂：関数近似）に対して実験を実施する。
• 進化のダイナミクスを可視化し、時間経過に伴う収束パターンとフィットネスの向上を分析する。

実験結果

リサーチクエスチョン

• RQ1 G-Propにおいてバラムズ効果を活用することで、標準的な逆伝播法や他の手法と比較して、より良い一般化性能と低い誤差率が達成されるか？
• RQ2 ラマルク的進化戦略は、収束速度を向上させるとともに、ネットワークサイズを削減しつつ、正確性を維持または向上させられるか？
• RQ3 ラマルク的およびバラムズ的G-Propバージョンにおけるネットワークアーキテクチャとトレーニング時間の違いは何か？
• RQ4 学習と進化の組み合わせは、純粋に進化的な手法や純粋に学習ベースの手法よりも神経進化においてより効果的か？
• RQ5 表現型の学習は、G-Propにおける探索空間の形状と進化的経路にどの程度影響を与えるか？

主な発見

• ラマルク的G-Propは、Glass1a問題において32±2の分類誤差を達成し、RPROP（33±5）およびKitanoの手法（32±5）を上回った。
• f₂関数近似タスクにおいて、ラマルク的アプローチは0.09±0.01の誤差に到達し、Pomaresのファジィ手法（0.125）よりも顕著に優れた結果を示した。
• バラムズ的G-PropはGlass1aでわずかに低い誤差（31±2）を達成したが、119±55世代を要した。これに対して、ラマルク的アプローチは52±54世代で十分であった。
• ラマルク的ネットワークは平均で59±28ニューロンを有したが、バラムズ的ネットワークは112±62ニューロンを有しており、より良い誘導的バイアスと高速な推論が示唆された。
• ラマルク的戦略は、最適なネットワークが早期に安定し、進化全体を通して最良のまま維持されたため、収束が速かった。
• エリート選択により学習による改善が保持されるため、ラマルク的戦略では初期世代において表現型学習がフィットネス向上に寄与した。