[논문 리뷰] Lasting Diversity and Superior Runtime Guarantees for the $(μ+1)$ Genetic Algorithm

Benjamin Doerr, Aymen Echarghaoui외 2명|arXiv (Cornell University)|2023. 02. 24.

Metaheuristic Optimization Algorithms Research인용 수 4

한 줄 요약

이 논문은 $(\mu+1)$ GA가 $\mu$에 대해 지수적으로 오랜 기간 동안 점프 함수에서 인구 다양성을 유지함을 증명하며, 이는 이전의 이차 경계를 크게 초월한다. 이로 인해 더 우수한 런타임 보장을 얻을 수 있다: $\mu \geq C\ln n$일 경우, 알고리즘은 $\textsc{Jump}_k$를 $O(n^{k-1})$ 시간 내에 최적화하며, 로그 인구 크기 조건에서도 크로스오버 덕분에 $\Omega(n)$의 속도 향상을 달성한다.

ABSTRACT

Most evolutionary algorithms (EAs) used in practice employ crossover. In contrast, only for few and mostly artificial examples a runtime advantage from crossover could be proven with mathematical means. The most convincing such result shows that the $(μ+1)$ genetic algorithm (GA) with population size $μ=O(n)$ optimizes jump functions with gap size $k \ge 3$ in time $O(n^k / μ+ n^{k-1}\log n)$, beating the $Θ(n^k)$ runtime of many mutation-based EAs. This result builds on a proof that the GA occasionally and then for an expected number of $Ω(μ^2)$ iterations has a population that is not dominated by a single genotype. In this work, we show that this diversity persist with high probability for a time exponential in $μ$ (instead of quadratic). From this better understanding of the population diversity, we obtain stronger runtime guarantees, among them the statement that for all $c\ln(n)\leμ\le n/\log n$, with $c$ a suitable constant, the runtime of the $(μ+1)$ GA on $\mathrm{Jump}_k$, with $k \ge 3$, is $O(n^{k-1})$. Consequently, already with logarithmic population sizes, the GA gains a speed-up of order $Ω(n)$ from crossover.

연구 동기 및 목표

• 크로스오버가 $(\mu+1)$ GA에서 점프 함수에서 런타임 이점을 제공하는 이유를 이해하는 것.
• 특히 점프 함수의 평탄한 영역에서 인구 다양성의 지속성 분석하기.
• 이전에 알려진 바보다 더 오래 지속되는 다양성임을 엄밀하게 입증함으로써 런타임 보장을 향상시키는 것.
• 더 강력한 다양성이 더 나은 성능을 이끌어내는지, 특히 작은 인구 크기에서 그러한가를 조사하는 것.
• 인구 내 히딩거 거리 분포에 대한 이론적 결과를 경험적으로 검증하는 것.

제안 방법

• 인구 다양성의 역학을 모델링하기 위해 가장 큰 게놈 클래스 크기를 마코프 과정으로 분석하는 것.
• 가장 큰 게놈 클래스 크기가 $\frac{3}{4}\mu$ 이하로 떨어지면 일정한 음의 드리프트를 보임을 증명함으로써 다양성의 지속성 보장.
• 확률적 지배와 드리프트 분석을 사용하여 다양성이 $\exp(\Omega(\mu))$ 반복 동안 지속됨을 보여주는 것.
• 다양성 지속 시간과 크로스오버를 통해 최적해를 생성할 확률 간의 상호작용을 통해 런타임 경계 유도.
• 평탄한 단계 동안 인구 내 쌍별 히딩거 거리 추적을 위한 경험적 실험 수행.
• 히딩거 거리 빈도의 경험적 추세를 이론적 기대값과 이전 연구 결과와 비교하는 것.

(a) A single run of the ${(\mu+1)}$ GA on $\textsc{Jump}_{k}$ with the parameters $n=100$ , $k=5$ , $\mu=20$ , $p_{c}=1$ , and $p_{m}=\frac{1}{n}$ .

실험 결과

연구 질문

• RQ1 $(\mu+1)$ GA는 $\textsc{Jump}_k$의 평탄한 영역에서 얼마나 오랫동안 다양성을 유지하는가?
• RQ2 이전 연구에서의 이차 경계와 달리, 다양성 지속 시간이 $\mu$에 대해 지수적임을 증명할 수 있는가?
• RQ3 작은 인구 크기 $\mu = \Omega(\ln n)$ 조건에서 $(\mu+1)$ GA의 런타임에 어떤 영향을 미치는가?
• RQ4 인구 다양성이 단일 게놈 유형에 의해 지배당하는 것 외에도 쌍별 히딩거 거리가 증가하는가?
• RQ5 히딩거 거리 빈도의 경험적 관측 결과가 지속적이고 증가하는 다양성에 대한 이론적 주장과 일치하는가?

주요 결과

• 가장 큰 게놈 클래스 크기가 $\frac{3}{4}\mu$ 이하로 떨어지면 일정한 음의 드리프트를 보이며, 이는 다양성이 $\exp(\Omega(\mu))$ 반복 동안 지속됨을 보장한다.
• 적절한 상수 $C$에 대해 모든 $\mu \geq C\ln n$ 조건에서 $(\mu+1)$ GA의 $\textsc{Jump}_k$에 대한 런타임은 $O(n^{k-1})$이며, 크로스오버 덕분에 $\Omega(n)$의 속도 향상을 달성한다.
• 조금 더 작은 $\mu = \Omega(\ln n)$ 조건에서도 알고리즘은 $O(n^{k-1})$ 런타임을 달성하며, Dang 등이 제시한 $O(n^k / \mu)$ 경계보다 뚜렷이 향상된다.
• 더 작은 $\mu$에 대해서는 런타임이 $O(e^{-\Omega(\mu)}n^k)$로 나타나며, 이는 이전 연구에서의 $O(n^k / \mu)$ 보장보다 상당한 향상임을 보여준다.
• 경험적 결과는 개인 간 히딩거 거리가 시간이 지남에 따라 증가하고, 더 큰 거리의 빈도가 증가함을 확인하며, 다양성 증가를 나타낸다.
• 인구 역학적 분석 결과 다양성이 유지되는 것 외에도 더 큰 쌍별 거리로 향하는 진화를 보이며, 더 나은 성능을 이끌어내는 가설을 뒷받침한다.

(b) A single run of the ${(\mu+1)}$ GA on $\textsc{Jump}_{k}$ with the parameters $n=1000$ , $k=5$ , $\mu=200$ , $p_{c}=1$ , and $p_{m}=\frac{1}{n}$ .