[논문 리뷰] From Understanding Genetic Drift to a Smart-Restart Mechanism for Estimation-of-Distribution Algorithms

Weijie Zheng, Benjamin Doerr|arXiv (Cornell University)|2022. 06. 18.

Advanced Bandit Algorithms Research참고 문헌 66인용 수 6

한 줄 요약

이 논문은 유전적 드리프트를 방지하기 위해 동적으로 개체군 크기를 조정하는 스마트 리스타트 메커니즘을 제안한다. 이 메커니즘은 유전적 드리프트 발생 시점의 정량적 분석에 기반한 예산 기반 리스타트 전략을 사용하며, UMDA 및 cGA와 같은 벤치마크 문제에서 수작업으로 개체군 크기를 조정할 필요 없이 渐近적으로 최적의 런타임 성능을 달성한다.

ABSTRACT

Estimation-of-distribution algorithms (EDAs) are optimization algorithms that learn a distribution on the search space from which good solutions can be sampled easily. A key parameter of most EDAs is the sample size (population size). If the population size is too small, the update of the probabilistic model builds on few samples, leading to the undesired effect of genetic drift. Too large population sizes avoid genetic drift, but slow down the process. Building on a recent quantitative analysis of how the population size leads to genetic drift, we design a smart-restart mechanism for EDAs. By stopping runs when the risk for genetic drift is high, it automatically runs the EDA in good parameter regimes. Via a mathematical runtime analysis, we prove a general performance guarantee for this smart-restart scheme. This in particular shows that in many situations where the optimal (problem-specific) parameter values are known, the restart scheme automatically finds these, leading to the asymptotically optimal performance. We also conduct an extensive experimental analysis. On four classic benchmark problems, we clearly observe the critical influence of the population size on the performance, and we find that the smart-restart scheme leads to a performance close to the one obtainable with optimal parameter values. Our results also show that previous theory-based suggestions for the optimal population size can be far from the optimal ones, leading to a performance clearly inferior to the one obtained via the smart-restart scheme. We also conduct experiments with PBIL (cross-entropy algorithm) on two combinatorial optimization problems from the literature, the max-cut problem and the bipartition problem. Again, we observe that the smart-restart mechanism finds much better values for the population size than those suggested in the literature, leading to a much better performance.

연구 동기 및 목표

• EDAs에서 최적의 개체군 크기를 선택하는 데 있어, 작은 개체군에서는 유전적 드리프트가 발생하고 큰 개체군은 계산 비용이 증가하는 상충 관계로 인해 어려운 문제를 해결하기 위해.
• 유전적 드리프트가 성능을 떨어뜨리는 영역을 자동으로 식별하고 피하는 파rameter-free 리스타트 전략을 설계하기 위해.
• 이론적 및 실험적 검증을 통해 스마트 리스타트 메커니즘이 다양한 EDA 변종과 벤치마크 문제에서 渐近적으로 최적의 런타임 성능을 달성함을 입증하기 위해.

제안 방법

• 메커니즘은 리스타트 동안 기하급수적으로 증가하는 개체군 크기를 사용하며, 개체군 크기에 따라 정량적 드리프트 발생 시점 분석에 기반한 기능 평가 예산을 설정한다.
• 예산은 Doerr와 Zheng(2022)의 이전 연구에 기반한 샘플링 빈도가 잘못된 경계로 드리프트할 가능성이 있는 시점에 대한 이론적 추정에서 유도된다.
• 각 리스타트는 빈도가 경계 값에 도달할 가능성(즉, 유전적 드리프트 위험)이 높다고 판단될 경우 조기에 종료된다.
• 이 전략은 단변량 EDAs(cGA, UMDA)와 다변량 변종(PBIL)에 적용되며, 원본 설정 및 다른 리스타트 전략과의 성능 비교가 이루어진다.
• 합리적인 개체군 크기 의존성 가정 하에 런타임 분석을 수학적으로 수행하여 渐近적 최적성을 입증한다.
• 실험은 고전적 벤치마크(OneMax, LeadingOnes, Jump, DeceptiveLeadingBlocks)와 조합 최적화 문제(max-cut, bipartition)에서 수행되었으며, 20회의 독립 실행 결과를 통계적으로 비교하였다.

실험 결과

연구 질문

• RQ1 스마트 리스타트 메커니즘이 유전적 드리프트 발생 시점을 감지함으로써, 수작업 조정 없이 EDAs에서 최적의 개체군 크기를 자동으로 식별할 수 있는가?
• RQ2 제안된 리스타트 전략은 UMDA 및 cGA와 같은 표준 EDA 벤치마크에서 渐近적으로 최적의 런타임 성능을 달성하는가?
• RQ3 max-cut 및 bipartition과 같은 조합 최적화 문제에서 스마트 리스타트 메커니즘은 다른 리스타트 전략(HL, AH) 및 원본 EDA 설정보다 어떻게 비교되는가?
• RQ4 리스타트 조건에서 예산 요소(b)가 성능에 미치는 영향은 어느 정도이며, 더 작은 예산이 더 빨리 드리프트를 감지함으로써 더 효과적인가?
• RQ5 실제 응용 분야에서, 예를 들어 max-cut 및 bipartition 문제에서 PBIL에 대해 문헌에서 제안된 개체군 크기보다 메커니즘이 더 뛰어난 성능을 낼 수 있는가?

주요 결과

• 합리적인 런타임 가정 하에 스마트 리스타트 메커니즘은 cGA 및 UMDA에서 渐近적으로 최적의 런타임 성능을 달성하며, 상수 인자 범위 내에서 이론적 하한선과 일치한다.
• DeceptiveLeadingBlocks 문제에서 스마트 리스타트 cGA는 최적의 개체군 크기 수준의 성능을 달성하여, 작은 개체군 영역에서 관찰되는 지수적 런타임을 피했다.
• OneMax 및 LeadingOnes 문제에서 작은 예산 요소(b = 6η/(ρ²ln n))를 사용한 스마트 리스타트 PBIL은 각각 중앙값 런타임 8,430 및 26,942개의 기능 평가를 기록하여, 마진 없이 원본 PBIL보다 유의미하게 뛰어난 성능을 보였다.
• max-cut 및 bipartition 문제에서 20회의 독립 실행 결과, b = 6η/(ρ²ln n)를 사용한 스마트 리스타트 PBIL은 모든 경우에서 가장 낮은 중앙값 런타임을 기록했으며, 원본 PBIL은 max-cut 문제에서 20회의 실행 중 5회에서 최적해를 찾지 못했다.
• 마진이 있는 AH-리스타트 전략은 두 문제 모두에서 20회의 실행 모두에서 전역 최적해에 도달하지 못했고, 작은 예산을 사용한 스마트 리스타트 전략은 거의 최적의 성능를 달성했다.
• 모든 빈도가 경계에 도달했는지 확인하는 HL-리스타트 전략은 비교적 양호한 성능를 보였으며, 이는 작은 예산을 사용한 스마트 리스타트 전략이 보수적이지만 효과적임을 시사한다.