[논문 리뷰] Evolving Boolean Functions with Conjunctions and Disjunctions via Genetic Programming

Benjamin Doerr, Andrei Lissovoi외 1명|arXiv (Cornell University)|2019. 03. 28.

Evolutionary Algorithms and Applications참고 문헌 16인용 수 8

한 줄 요약

이 논문은 트리 크기 제한과 부분수형 삭제 돌연변이 연산자를 갖는 수정된 RLS-GP 알고리즘을 분석하며, $n$개의 변수의 부울 결합을 AND 및 OR 연산자로 진화시키는 데 초점을 맞춘다. 이 알고리즘은 완전한 진리표를 사용할 경우 $O(\ell n\log^2 n)$의 기대 반복 횟수 내에 정확한 목표 함수를 효율적으로 진화시키며, 입력을 무작위로 샘플링할 경우 불필요한 OR 연산자를 피하면서 다항수준의 작은 일반화 오차를 달성한다.

ABSTRACT

Recently it has been proved that simple GP systems can efficiently evolve the conjunction of $n$ variables if they are equipped with the minimal required components. In this paper, we make a considerable step forward by analysing the behaviour and performance of the GP system for evolving a Boolean function with unknown components, i.e., the function may consist of both conjunctions and disjunctions. We rigorously prove that if the target function is the conjunction of $n$ variables, then the RLS-GP using the complete truth table to evaluate program quality evolves the exact target function in $O(\\ell n \\log^2 n)$ iterations in expectation, where $\\ell \\geq n$ is a limit on the size of any accepted tree. When, as in realistic applications, only a polynomial sample of possible inputs is used to evaluate solution quality, we show how RLS-GP can evolve a conjunction with any polynomially small generalisation error with probability $1 - O(\\log^2(n)/n)$. To produce our results we introduce a super-multiplicative drift theorem that gives significantly stronger runtime bounds when the expected progress is only slightly super-linear in the distance from the optimum.

연구 동기 및 목표

• AND 및 OR 연산자를 모두 사용할 수 있는 현실적인 GP 시스템을 반영하기 위해, RLS-GP 알고리즘이 $n$개의 변수의 결합을 진화할 때의 성능을 분석하는 것.
• 해결 공간 내에서 논리합(disjunction)으로 인한 블로팅(bloat)과 국소 최적해 문제를 해결하기 위해 트리 크기 제한과 수정된 변이 연산자를 도입하는 것.
• 완전한 진리표 평가와 다항수준의 입력 집합 샘플링을 고려한 RLS-GP의 이론적 런타임 경계를 설정하는 것.
• 실제 설정에서 낮은 일반화 오차를 달성하면서도 불필요한 OR 연산자를 삽입하지 않는지 조사하는 것.
• 더 복잡한 함수 집합과 현실적인 적합도 평가 메커니즘을 통합함으로써 이전의 GP 이론 결과를 확장하는 것.

제안 방법

• 전통적인 HVL-Prime 연산자가 국소 최적해에 갇힐 수 있는 한계를 극복하기 위해, 한 번의 단계에서 전체 부분수형을 제거할 수 있는 부분수형 삭제 변이 연산자를 사용하는 RLS-GP 알고리즘.
• 블로팅을 방지하고 유한한 기대 런타임을 확보하기 위해, 문법 수형의 크기에 $\ell \geq n$ 제한을 설정한다.
• 적합도 평가는 완전한 진리표($2^n$개의 입력) 또는 다항수준의 무작위 샘플링된 입력 집합을 사용한다.
• 진보가 최적점과의 거리에 대해 약간 초과 선형적인 경우에 더 날카운 런타임 경계를 유도하기 위해 초승법적 드리프트 정리(super-multiplicative drift theorem)를 도입한다.
• 다양한 $n$과 $\ell$에 대해 알고리즘을 실증적으로 평가하며, 평균 런타임, 해의 크기, 최종 해에서의 OR 노드 수를 보고한다.
• 다양한 계산 비용을 갖는 다항수준의 비용으로 현실적인 적합도 평가를 시뮬레이션하기 위해 동적 부분집합 선택(Dynamic Subset Selection)을 사용한다.

실험 결과

연구 질문

• RQ1 완전한 진리표를 사용할 경우, RLS-GP는 AND 및 OR 연산자를 모두 사용할 수 있을 때 $n$개의 변수의 결합을 효율적으로 진화시킬 수 있는가?
• RQ2 부분수형 삭제 변이 연산자가 논리합으로 인한 국소 최적해로 인한 무한 기대 런타임 문제를 제거하는가?
• RQ3 적합도 평가에 완전한 진리표를 사용할 경우와 다항수준의 무작위 샘플링된 입력 집합을 사용할 경우의 RLS-GP 기대 런타임은 각각 얼마인가?
• RQ4 다항수준의 샘플링된 입력 집합만을 사용할 경우, RLS-GP는 높은 확률로 다항수준의 작은 일반화 오차를 달성할 수 있는가?
• RQ5 함수 집합에 AND 및 OR가 모두 존재할 때, 알고리즘이 불필요한 OR 연산자를 삽입하는 정도는 어느 정도인가?

주요 결과

• 완전한 진리표를 사용할 경우, 부분수형 삭제와 크기 제한 $\ell = (1+c)n$을 갖는 RLS-GP 알고리즘은 $O(\ell n\log^2 n)$의 기대 반복 횟수 내에 $n$개의 변수의 정확한 결합을 진화시킨다.
• 다항수준의 무작위 샘플링된 입력 집합을 사용할 경우, RLS-GP는 $1 - O(\log^2 n / n)$의 확률로 다항수준의 작은 일반화 오차를 달성한다.
• 실험 결과를 통해 최종 수형에서 살아남는 OR 노드의 수가 작다는 점을 확인함으로써, 알고리즘이 해에 상당수의 OR 연산자를 삽입하지 않는다는 것을 입증한다.
• 실증 결과에 따르면, 트리 크기 제한 $\ell$을 늘릴수록 런타임이 감소하므로 이론적 경계가 보수적으로 평가되었을 가능성이 있다.
• 더 큰 $\ell$ 값을 갖는 해는 더 많은 부작용 변수를 포함하는 경향이 있어, 최적화 속도와 해의 복잡성 사이의 상충 관계를 보여준다.
• 초승법적 드리프트 정리는 기대 진보가 최적점과의 거리에 대해 약간 초과 선형적인 경우에 더 날카운 런타임 경계를 가능하게 한다.