[논문 리뷰] Fast Genetic Algorithms

Benjamin Doerr, Huu Phuoc Le외 2명|arXiv (Cornell University)|2017. 03. 09.

Metaheuristic Optimization Algorithms Research참고 문헌 27인용 수 12

한 줄 요약

이 논문은 멀티모달 문제인 점프 함수와 같은 문제에서 초수평적 성능 향상을 달성하기 위해 거칠게 꼬인 변이율(특히 지수 β > 1인 거칠게 꼬인 분포를 가진 α/n)을 사용하는 '빠른 유전적 알고리즘'을 제안한다. 이 방법은 표준 (1+1) EA에 비해 1/n 변이율을 사용할 때보다 효율적인 장거리 점프를 가능하게 하여, 문제의 구조에 대한 사전 지식 없이도 모든 점프 함수 매개변수에서 거의 최적의 실행 시간을 달성한다.

ABSTRACT

For genetic algorithms using a bit-string representation of length~$n$, the general recommendation is to take $1/n$ as mutation rate. In this work, we discuss whether this is really justified for multimodal functions. Taking jump functions and the $(1+1)$ evolutionary algorithm as the simplest example, we observe that larger mutation rates give significantly better runtimes. For the $\jump_{m,n}$ function, any mutation rate between $2/n$ and $m/n$ leads to a speed-up at least exponential in $m$ compared to the standard choice. The asymptotically best runtime, obtained from using the mutation rate $m/n$ and leading to a speed-up super-exponential in $m$, is very sensitive to small changes of the mutation rate. Any deviation by a small $(1 \pm \eps)$ factor leads to a slow-down exponential in $m$. Consequently, any fixed mutation rate gives strongly sub-optimal results for most jump functions. Building on this observation, we propose to use a random mutation rate $α/n$, where $α$ is chosen from a power-law distribution. We prove that the $(1+1)$ EA with this heavy-tailed mutation rate optimizes any $\jump_{m,n}$ function in a time that is only a small polynomial (in~$m$) factor above the one stemming from the optimal rate for this $m$. Our heavy-tailed mutation operator yields similar speed-ups (over the best known performance guarantees) for the vertex cover problem in bipartite graphs and the matching problem in general graphs. Following the example of fast simulated annealing, fast evolution strategies, and fast evolutionary programming, we propose to call genetic algorithms using a heavy-tailed mutation operator \emph{fast genetic algorithms}.

연구 동기 및 목표

• 멀티모달 적합도 표면에 대해 전통적으로 권장되는 1/n 변이율을 도전한다.
• (1+1) EA의 점프 함수에서의 성능을 다양한 변이율로 분석하여, m/n과 같은 더 높은 변이율이 초수평적 성능 향상을 이끌 수 있음을 밝힌다.
• 최적의 성능가에 대한 변이율의 미세한 변화에 대한 민감성 문제를 해결한다. 이는 고정된 변이율 접근 방식이 성립하지 않음을 시사한다.
• 다양한 멀티모달 문제에서 강건하고 거의 최적의 성능을 달성할 수 있도록, 무작위로 선택된 거칠게 꼬인 변이율 분포를 제안한다.
• 비트 스트링 표현 외의 조합 최적화 문제(예: 정점 커버 및 매칭 문제)에 대해서도 거칠게 꼬인 변이율의 이점을 확장하여 광범위한 적용 가능성을 입증한다.

제안 방법

• 지수 β > 1인 거칠게 꼬인 분포 Dₙ^β에서 유도된 α를 사용하여 변이율을 α/n로 설정한다. 이는 거칠게 꼬인 행동을 보장한다.
• 모든 비트의 플립 확률이 일정하게 유지되도록 보장하여 표준 비트 변이의 핵심 성질을 유지한다.
• 검색 공간 내 희귀한 장거리 점프의 가능성을 높임으로써 큰 해밍 거리의 효율적 탐색을 가능하게 한다.
• 결과적으로 (1+1) FEAβ가 임의의 점프 함수 Jump_{m,n}에 대해 최적의 m/n 비율과 다항식 요인 내에서 기대 최적화 시간을 달성함을 증명한다.
• 순열 표현 방식을 통해 기본 변이 단계를 적응시켜 동일한 변이 메커니즘을 조합 최적화 문제에 적용한다.
• n이 20에서 150 사이인 Jump_{m,n} 함수에서 실험적으로 검증하여, β = 1.5일 때 표준 (1+1) EA 대비 최대 2000배의 성능 향상을 입증한다.

실험 결과

연구 질문

• RQ1 1/n보다 훨씬 큰 변이율을 사용할 경우 멀티모달 문제(예: 점프 함수)에서 성능 향상이 이루어지는가?
• RQ2 최적의 변이율은 미세한 변화에 얼마나 민감한가? 이러한 민감성은 극복할 수 있는가?
• RQ3 한 가지 적응형 변이율 분포로 문제의 모든 매개변수에서 거의 최적의 성능를 달성할 수 있는가? 사전 지식이 필요하지 않은가?
• RQ4 거칠게 꼬인 변이 연산자는 비트 스트링 표현을 초월한 다른 조합 최적화 문제로 일반화 가능한가?
• RQ5 제안된 방법은 기준 멀티모달 문제에서 표준 (1+1) EA에 비해 얼마나 높은 실행 시간 향상을 달성하는가?

주요 결과

• 점프 함수 Jump_{m,n}에서 변이율을 m/n으로 설정하면 기대 최적화 시간이 (1+o(1))(e/m)^m n^m로 감소하며, 이는 표준 1/n 비율 대비 초수평적 향상이다.
• m/n에서 (1±ε) 요인의 편차가 발생할 경우, 성능 저하가 m에 대해 지수적으로 악화되므로 고정된 변이율은 매우 민감하다.
• 거칠게 꼬인 변이 연산자 (1+1) FEAβ는 m를 사전에 알지 못하더라도 최적 비율과 다항식 요인 내에서 기대 최적화 시간을 달성한다.
• 이분 그래프에서의 정점 커버 문제에서, 이 방법은 기존에 알려진 최고 성능 보장보다 문제 크기에 대해 초수평적 성능 향상을 제공한다.
• 일반 그래프에서의 매칭 문제에서도 유사한 성능 향상이 달성되어, 비트 스트링 문제 외의 문제에 대해서도 광범위한 적용 가능성을 입증한다.
• 실험 결과, β = 1.5일 때 n이 20에서 150 사이인 Jump_{8,n}에서 표준 (1+1) EA 대비 최대 2000배의 성능 향상이 관찰되었다.