[논문 리뷰] A Novel Continuous Representation of Genetic Programmings using Recurrent Neural Networks for Symbolic Regression

Aftab Anjum, Fengyang Sun외 2명|arXiv (Cornell University)|2019. 04. 06.

Evolutionary Algorithms and Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 유전자 문자열을 인코딩하기 위해 순환 신경망(RNN)을 사용하는 유전적 프로그래밍의 새로운 연속적 표현인 신경 인코딩 표현 프로그래밍을 제안한다. 연속적 유전적 알고리즘을 통해 RNN 가중치를 최적화함으로써 적합도 표면이 매끄럽게 개선되어 이웃 영역 탐색이 향상되고, 기존의 이산 선형 표현 방식에 비해 기호 회귀 벤치마크에서 더 높은 테스트 정확도와 효율성을 달성한다.

ABSTRACT

Neuro-encoded expression programming that aims to offer a novel continuous representation of combinatorial encoding for genetic programming methods is proposed in this paper. Genetic programming with linear representation uses nature-inspired operators to tune expressions and finally search out the best explicit function to simulate data. The encoding mechanism is essential for genetic programmings to find a desirable solution efficiently. However, the linear representation methods manipulate the expression tree in discrete solution space, where a small change of the input can cause a large change of the output. The unsmooth landscapes destroy the local information and make difficulty in searching. The neuro-encoded expression programming constructs the gene string with recurrent neural network (RNN) and the weights of the network are optimized by powerful continuous evolutionary algorithms. The neural network mappings smoothen the sharp fitness landscape and provide rich neighborhood information to find the best expression. The experiments indicate that the novel approach improves test accuracy and efficiency on several well-known symbolic regression problems.

연구 동기 및 목표

• 기본적인 이산 선형 표현 방식이 유전적 프로그래밍에서 부드럽지 못한 적합도 표면과 열악한 국소 탐색 능력을 초래하는 한계를 해결하기 위해.
• 이웃 정보를 유지하면서 기울기 유사 최적화가 가능한 연속적 표현을 개발하기 위해.
• 부드럽고 미분 가능한 매핑을 통해 RNN을 활용해 유전자 문자열을 인코딩함으로써 기호 회귀 성능을 향상시키기 위해.
• RNN 가중치의 연속적 유전적 최적화를 통해 기호 회귀 작업의 탐색 효율성과 테스트 정확도를 향상시키기 위해.
• 기존의 이산 유전적 프로그래밍 방법에 비해 제안된 신경 인코딩 접근 방식의 우수성을 입증하기 위해.

제안 방법

• 이 방법은 전통적인 이산 선형 인코딩을 대체하기 위해 순환 신경망(RNN)을 사용해 유전자 문자열을 생성한다.
• RNN은 연속적 유전적 알고리즘을 사용해 가중치를 최적화함으로써 해결 공간 내의 부드러운 전이를 가능하게 한다.
• RNN은 입력 매개변수를 연속적이고 미분 가능한 방식으로 유전자 문자열로 매핑하여, 소규모 입력 변화에 대한 출력 변화가 급격히 변하지 않도록 한다.
• RNN 출력의 연속성 덕분에 적합도 표면이 매끄러워지며, 이는 더 효과적인 탐색을 위한 국소 정보를 유지한다.
• 진화된 RNN은 표현 트리를 생성하고 기호 회귀를 위해 평가되며, 성능은 표준 벤치마크 문제에서 측정된다.
• 이 방법은 유전적 프로그래밍의 진화적 탐색과 RNN 및 유전적 알고리즘의 연속적 최적화 능력을 결합한다.

실험 결과

연구 질문

• RQ1 RNN 기반의 연속적 표현이 기호 회귀를 위한 유전적 프로그래밍에서 적합도 표면의 매끄러움을 향상시킬 수 있는가?
• RQ2 RNN 기반의 유전자 인코딩 사용이 기호 회귀 작업의 탐색 효율성과 수렴 속도를 향상시키는가?
• RQ3 제안된 신경 인코딩 표현 프로그래밍의 성능은 표준 기호 회귀 문제에서 기존의 이산 선형 유전적 프로그래밍에 비해 어떻게 비교되는가?
• RQ4 연속적 표현이 이웃 정보를 어느 정도 유지하고 국소 최적화를 지원하는가?
• RQ5 RNN 가중치의 연속적 유전적 최적화가 기호 회귀에서 더 나은 일반화와 테스트 정확도를 이끌 수 있는가?

주요 결과

• 제안된 신경 인코딩 표현 프로그래밍은 기존의 이산 선형 표현 방식에 비해 몇 가지 유명한 기호 회귀 문제에서 더 높은 테스트 정확도를 달성한다.
• RNN 기반의 연속적 인코딩 덕분에 더 매끄러운 적합도 표면이 만들어져 탐색 효율성이 향상됨을 입증한다.
• RNN이 생성한 유전자 문자열의 연속성 덕분에 해결 공간 내의 갑작스러운 변화가 감소하여 국소 정보가 유지된다.
• RNN과 연속적 유전적 알고리즘의 통합은 해결 공간의 더 효과적인 탐색을 가능하게 한다.
• 실험 결과 RNN 기반 표현 방식이 기호 회귀 벤치마크에서 더 나은 성능을 내어, 복잡한 함수 발견 잠재력을 보여준다.
• 이 방법은 이산 표현 방식의 한계를 극복하여 더 탐색 가능하고 정보가 풍부한 해결 공간을 제공한다.