[논문 리뷰] Positional Cartesian Genetic Programming

Dennis G. Wilson, Julian F. Miller외 2명|arXiv (Cornell University)|2018. 10. 09.

Evolutionary Algorithms and Applications참고 문헌 17인용 수 6

한 줄 요약

이 논문은 노드 위치를 실수형 유전자 표현을 사용해 진화시키는 새로운 CGP 변종인 위치 기반 카르테시안 유전적 프로그래밍(PCGP)을 소개한다. 이는 그래프 기반 교배 및 돌연변이와 같은 고급 유전적 연산자를 가능하게 하며, 벤치마크 문제에서 표준 CGP보다 뛰어난 성능을 보인다. 특히 강화학습 분야에서 뛰어난 성능을 보이며, 다양한 진화 전략에 대한 광범위한 초기화수치 검색을 통해 최적의 설정을 규명한다.

ABSTRACT

Cartesian Genetic Programming (CGP) has many modifications across a variety of implementations, such as recursive connections and node weights. Alternative genetic operators have also been proposed for CGP, but have not been fully studied. In this work, we present a new form of genetic programming based on a floating point representation. In this new form of CGP, called Positional CGP, node positions are evolved. This allows for the evaluation of many different genetic operators while allowing for previous CGP improvements like recurrency. Using nine benchmark problems from three different classes, we evaluate the optimal parameters for CGP and PCGP, including novel genetic operators.

연구 동기 및 목표

• 실수형 유전자 표현을 사용해 노드 위치를 진화시키는 새로운 형태의 카르테시안 유전적 프로그래밍(CGP)을 개발하는 것.
• 위치 기반 진화로 가능해지는 새로운 유전적 연산자—예를 들어, 부분그래프 및 출력 그래프 교배, 혼합 노드 돌연변이—를 평가하는 것.
• $1+\lambda$ EA와 GA를 사용해 다양한 문제 유형에 대해 표준 CGP와 PCGP의 최적 초기화수치를 규명하는 것.
• 분류, 회귀, 강화학습 작업에서 노드 가중치, 재귀성, 엘리트리즘 등의 향상 기법이 PCGP에서 표준 CGP와 비교해 어떻게 영향을 미치는지 비교하는 것.
• 특히 이전 연구에서 다루지 못한 GA 기반 진화에 초점을 맞춰 CGP 설정에 대한 종합적인 가이드를 제공하는 것.

제안 방법

• 노드 위치, 연결 유전자, 기능 인덱스, 파라미터에 대해 [0.0, 1.0] 범위의 연속 실수형 값으로 CGP 유전자를 표현한다.
• 실수형 연결 좌표를 가장 가까운 실제 노드로 매핑하기 위해 '스냅핑'(snapping) 기법을 사용하여, 더 유연하고 동적일 수 있는 연결성을 가능하게 한다.
• 노드 위치를 유전자 일부로 진화시켜 위치 기반 CGP(PCGP)를 도입함으로써, 새로운 돌연변이 및 교배 전략을 가능하게 한다.
• PCGP와 표준 CGP를 9개의 벤치마크 문제에서 $1+\lambda$ 진화 알고리즘과 세대 기반 GA를 사용해 진화시킨다.
• 재귀 연결(파라미터 $r$를 통해), 노드 가중치, 활성 돌연변이와 같은 향상 기법을 도입하며, 이를 조정 가능한 초기화수치로 간주한다.
• 각 문제 유형과 진화 전략에 대해 20개의 최상위 성능 설정을 대상으로 한 파라미터 검색을 수행하여 최적 설정을 규명한다.

실험 결과

연구 질문

• RQ1 실수형 표현을 사용해 CGP의 노드 위치를 진화시키는 것이 더 효과적인 유전적 연산자와 다양한 벤치마크 문제에서의 성능 향상에 기여할 수 있는가?
• RQ2 분류, 회귀, 강화학습 작업 전반에서 PCGP에서 유전자 돌연변이, 부분그래프 교배, 출력 그래프 교배 중 어떤 유전적 연산자가 가장 효과적인가?
• RQ3 노드 가중치, 재귀성($r$), 엘리트리즘과 같은 향상 기법이 PCGP에서 표준 CGP와 비교해 성능에 어떤 영향을 미치는가?
• RQ4 $1+\lambda$ EA와 GA를 PCGP 및 표준 CGP에 적용할 때 최적의 초깃값 설정은 무엇인가?
• RQ5 강화학습과 같은 모듈러한 도메인에서 부분그래프 및 출력 그래프 교배와 같은 그래프 기반 연산이 PCGP 진화에서 실현 가능하고 효과적인가?

주요 결과

• PCGP는 강화학습 문제에서 특히 출력 그래프 교배와 혼합 노드 돌연변이를 사용할 경우 성능이 크게 향상된다.
• 모든 $1+\lambda$ EA 및 GA 설정에서 출력 유전자에 높은 돌연변이 비율을 적용한 유전자 돌연변이가 다른 돌연변이 전략보다 뛰어나다.
• 노드 가중치는 강화학습에서 매우 유용하지만, 분류 및 회귀 작업에서는 해로운 영향을 미쳐 문제에 따라 유용성이 달라진다.
• GA 설정에서는 분류 작업에서 부분그래프 교배와 혼합 부분트리 돌연변이가 선호되며, 회귀 작업에서는 랜덤 노드 교배와 유전자 돌연변이가 지배적이다.
• 엘리트리즘 수준 0.1에서 0.5가 강화학습 및 분류 작업 전반에서 가장 효과적이며, 높은 엘리트리즘은 PCGP에서 수렴 속도를 향상시킨다.
• 실수형 위치 진화의 사용은 실현 가능하고 효과적인 그래프 기반 유전적 연산자를 가능하게 하며, 적응형 및 자기 최적화 CGP 시스템으로 향하는 길을 제시한다.