[논문 리뷰] Lamarckian Evolution and the Baldwin Effect in Evolutionary Neural Networks

Pedro Á. Castillo, M. G. Arenas외 5명|ArXiv.org|2006. 03. 01.

Neural Networks and Applications참고 문헌 20인용 수 15

한 줄 요약

이 논문은 G-Prop라는 히브리드 유전적 알고리즘을 사용하여 다층퍼셉트론을 최적화하는 데서 라마르크주의 진화와 복잡성 효과의 영향을 조사한다. 결과적으로 라마르크주의 접근법은 더 낮은 오차율과 더 작은, 더 빠르게 수렴하는 네트워크를 달성하는 반면, 복잡성 효과는 약간 더 높은 정확도를 보이지만 더 많은 세대와 더 큰 아키텍처가 필요하다.

ABSTRACT

Hybrid neuro-evolutionary algorithms may be inspired on Darwinian or Lamarckian evolu- tion. In the case of Darwinian evolution, the Baldwin effect, that is, the progressive incorporation of learned characteristics to the genotypes, can be observed and leveraged to improve the search. The purpose of this paper is to carry out an exper- imental study into how learning can improve G-Prop genetic search. Two ways of combining learning and genetic search are explored: one exploits the Baldwin effect, while the other uses a Lamarckian strategy. Our experiments show that using a Lamarckian op- erator makes the algorithm find networks with a low error rate, and the smallest size, while using the Bald- win effect obtains MLPs with the smallest error rate, and a larger size, taking longer to reach a solution. Both approaches obtain a lower average error than other BP-based algorithms like RPROP, other evolu- tionary methods and fuzzy logic based methods

연구 동기 및 목표

• 다층퍼셉트론을 위한 신경진화 알고리즘의 탐색 성능을 향상시키기 위해 복잡성 효과와 라마르크주의 메커니즘이 효과적인지 평가하기 위해.
• 유전형 수정 없이 라마르크주의 국소 탐색과 복잡성 효과 학습을 사용한 G-Prop의 성능을 비교하기 위해.
• 학습을 진화 과정에 통합함으로써 일반화 능력, 수렴 속도, 네트워크 크기 효율성이 향상되는지 평가하기 위해.
• 분류 및 함수 근사 과제에서 RPROP, 퍼지 논리 방법, 이전 신경망 설계와의 벤치마킹을 통해 두 접근법을 비교하기 위해.

제안 방법

• 다층퍼셉트론의 가중치, 아키텍처, 학습 파라미터를 최적화하기 위해 유전 알고리즘과 퀵프로파게이션(QP)을 융합한 G-Prop이라는 히브리드 진화 알고리즘을 사용한다.
• 적합도 평가 후 국소 학습(역전파)을 사용하여 유전형을 수정함으로써 라마르크주의 전략을 구현하며, 이를 통해 습득된 특성이 자손에게 전달된다.
• 유전형을 수정하지 않고 적합도 평가 기간 동안 형질적 학습을 허용함으로써 복잡성 효과를 적용하며, 학습 능력을 선택적 우월성으로 모사한다.
• 최상의 개체를 세대 간에 유지하는 엘리트 전략을 사용하여 학습된 개선 사항이 유지되도록 보장한다.
• 일관된 진화 알고리즘 파라미터(200명의 개체, 300세대)를 사용하여 Glass1a(패턴 분류)와 f₂(함수 근사)라는 두 가지 벤치마크 문제에서 실험을 수행한다.
• 수렴 패턴과 시간에 따른 적합도 향상 정도를 분석하기 위해 진화적 동역학을 시각화한다.

실험 결과

연구 질문

• RQ1 G-Prop에서 복잡성 효과를 활용할 경우 표준 역전파 및 기타 방법에 비해 더 나은 일반화 능력과 낮은 오차율을 달성할 수 있는가?
• RQ2 라마르크주의 진화 전략은 수렴 속도를 향상시키고 네트워크 크기를 줄일 수 있으며 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 라마르크주의와 복잡성 효과 기반 G-Prop 변종 간의 네트워크 아키텍처와 훈련 시간은 어떻게 다른가?
• RQ4 학습과 진화의 조합이 순수하게 진화적 또는 순수하게 학습 기반 접근보다 더 효과적인가?
• RQ5 형질적 학습이 G-Prop에서 탐색 공간의 형태와 진화적 궤적에 어떤 영향을 미치는가?

주요 결과

• 라마르크주의 G-Prop 변종은 Glass1a 문제에서 분류 오차 32±2를 기록하여 RPROP(33±5)와 Kitano의 방법(32±5)을 모두 능가했다.
• f₂ 함수 근사 과제에서 라마르크주의 접근법은 오차 0.09±0.01을 달성하여 Pomares의 퍼지 방법(0.125)보다 유의미하게 뛰어났다.
• 복잡성 효과 기반 G-Prop 변종은 Glass1a에서 약간 낮은 오차(31±2)를 기록했지만, 라마르크주의 접근법(52±54세대)에 비해 119±55세대가 소요되었다.
• 라마르크주의 네트워크는 평균적으로 더 작았으며(59±28개의 뉴런), 복잡성 효과 기반 네트워크(112±62개의 뉴런)보다 더 나은 인덕티브 바이어스와 더 빠른 추론을 보였다.
• 라마르크주의 전략은 최적의 네트워크가 조기에 안정화되고 진화 전반에 걸쳐 최고의 성능을 유지함으로써 더 빠른 수렴을 이끌었다.
• 엘리트 선택 전략 덕분에 라마르크주의 전략 하에서 형질적 학습이 초기 세대에서 적합도 향상에 더 크게 기여했다.