[논문 리뷰] Update Strength in EDAs and ACO: How to Avoid Genetic Drift

Dirk Sudholt, Carsten Witt|arXiv (Cornell University)|2016. 07. 14.

Evolutionary Algorithms and Applications참고 문헌 20인용 수 9

한 줄 요약

이 논문은 추정-분포 알고리즘(EDAs)과 개미 군집 최적화(ACO)에서 업데이트 강도의 엄밀한 런타임 분석을 제공하며, 과도하게 강한 업데이트가 유전적 드리프트를 유도하고 성능을 악화시킨다는 것을 보여준다. 이는 OneMax에서 최적의 성능이 업데이트 강도를 $\Theta(1/(\sqrt{n}\log n))$로 설정했을 때 달성되며, 이는 $O(n\log n)$의 기대 런타임을 보장하여 학습 속도와 모델 정확성의 균형을 이룬다는 것을 증명한다.

ABSTRACT

We provide a rigorous runtime analysis concerning the update strength, a vital parameter in probabilistic model-building GAs such as the step size $1/K$ in the compact Genetic Algorithm (cGA) and the evaporation factor $ρ$ in ACO. While a large update strength is desirable for exploitation, there is a general trade-off: too strong updates can lead to genetic drift and poor performance. We demonstrate this trade-off for the cGA and a simple MMAS ACO algorithm on the OneMax function. More precisely, we obtain lower bounds on the expected runtime of $Ω(K\sqrt{n} + n \log n)$ and $Ω(\sqrt{n}/ρ+ n \log n)$, respectively, showing that the update strength should be limited to $1/K, ρ= O(1/(\sqrt{n} \log n))$. In fact, choosing $1/K, ρ\sim 1/(\sqrt{n}\log n)$ both algorithms efficiently optimize OneMax in expected time $O(n \log n)$. Our analyses provide new insights into the stochastic behavior of probabilistic model-building GAs and propose new guidelines for setting the update strength in global optimization.

연구 동기 및 목표

• cGA와 ACO와 같은 확률적 모델 빌딩 기반 유전적 알고리즘에서 학습 속도와 유전적 드리프트 간의 상충 관계를 이해하기 위해.
• 모델 적응이 잘못되어 성능 저하가 발생하지 않도록 하기 위해 최적의 업데이트 강도 파rameter를 규명하기 위해.
• cGA와 2-MMAS$_{\textrm{ib}}$에 대한 런타임에 대한 날카운 하한을 제공하여 이론적 이해의 격차를 메우기 위해.
• 글로벌 최적화 알고리즘에서 업데이트 강도를 설정하기 위한 일반적인 지침을 수립하기 위해.
• 스토케스틱 행동과 도달 시간을 모델링하기 위해 두 번째 차수의 포텐셜 함수를 사용하는 새로운 분석 프레임워크를 개발하기 위해.

제안 방법

• OneMax 함수에서 cGA와 2-MMAS$_{\textrm{ib}}$의 엄밀한 런타임 분석을 수행한다.
• 기저가 되는 랜덤 워크의 도달 시간 분포를 근사하기 위해 두 번째 차수의 포텐셜 함수를 사용한다.
• 집중도 한계와 체르노프 유형 부등식을 적용하여 모델 업데이트 과정에서의 b-스텝과 rw-스텝 수를 제어한다.
• 다양한 업데이트 강도 하에서 모델 수렴 행동의 단계 전이를 분석함으로써 하한을 유도한다.
• 표준 업데이트 규칙을 시간에 따라 변화하는 비트 확률을 추적하는 확률 모델로 대체한다.
• 단계 기반 분석을 활용하여 모델 수렴 경로에서 비감소 스텝의 확률을 근사한다.

실험 결과

연구 질문

• RQ1 cGA와 ACO의 최적 업데이트 강도는 OneMax에서 유전적 드리프트를 방지하면서도 효율적인 수렴을 유지하기 위해 무엇인가?
• RQ2 cGA에서의 업데이트 강도 $1/K$와 ACO에서의 $\rho$는 기대 런타임과 모델 정확성에 어떻게 영향을 미치는가?
• RQ3 업데이트 강도에 대한 함수로서 cGA와 2-MMAS$_{\textrm{ib}}$의 기대 런타임에 대한 점근적 하한은 무엇인가?
• RQ4 런타임이 각각 $\Omega(K\sqrt{n} + n\log n)$과 $\Omega(\sqrt{n}/\rho + n\log n)$로 하한이 존재할 수 있으며, 이는 매개변수 선택에 어떤 함의를 갖는가?
• RQ5 업데이트 강도가 $1/(\sqrt{n}\log n)$를 초과할 경우, 유전적 드리프트가 성능을 지배하게 되는가? 만약 그렇다면 그 이유는 무엇인가?

주요 결과

• cGA의 기대 런타임은 $\Omega(K\sqrt{n} + n\log n)$이며, 이는 성능 저하를 피하기 위해 $1/K$가 $O(1/(\sqrt{n}\log n))$여야 한다는 것을 보여준다.
• 2-MMAS$_{\textrm{ib}}$의 기대 런타임은 $\Omega(\sqrt{n}/\rho + n\log n)$이며, 이는 $\rho$가 $O(1/(\sqrt{n}\log n))$여야 유전적 드리프트를 방지할 수 있음을 시사한다.
• 업데이트 강도 $1/K, \rho \sim 1/(\sqrt{n}\log n)$일 경우, 두 알고리즘이 모두 $O(n\log n)$의 기대 런타임을 달성하며, 이는 하한의 날카로움을 증명한다.
• 업데이트 강도가 $1/(\sqrt{n}\log n)$를 초과하면 유전적 드리프트가 지배적이 되며, 잘못된 모델 업데이트를 수정하는 데 $\Omega(n\log n)$의 시간이 소요된다.
• 하한은 높은 확률로 성립하며, 관측된 성능가 희귀 사건이 아닌 일반적인 현상임을 확인한다.
• 제안된 매개변수 영역 $1/K, \rho \sim 1/(\sqrt{n}\log n)$는 OneMax에서 두 알고리즘에 대해 최적이며, 유일한 전역 최적해를 가진 다른 함수로도 일반화 가능할 것이다.