[논문 리뷰] Runtime Analysis of a Heavy-Tailed $(1+(\\lambda,\\lambda))$ Genetic Algorithm on Jump Functions

Denis Antipov, Benjamin Doerr|arXiv (Cornell University)|2020. 06. 05.

Metaheuristic Optimization Algorithms Research참고 문헌 39인용 수 24

한 줄 요약

이 논문은 점프 함수에서 인스턴스에 특화된 파rameter 조정이 필요 없이 근사 최적 성능을 달성하는, 무거운 尾를 가진 $(1+(\lambda,\lambda))$ 유전 알고리즘을 제안한다. 이 알고리즘은 $\lambda$와 검색 반경 $s$를 멱법 분포에서 랜덤하게 선택하며, 점프 크기 $k$가 알려져 있지 않은 경우에도 최적의 정적 파rameter 설정에 비해 다항로그 인자 내에서 런타임을 유지한다.

ABSTRACT

It was recently observed that the $(1+(\\lambda,\\lambda))$ genetic algorithm can comparably easily escape the local optimum of the jump functions benchmark. Consequently, this algorithm can optimize the jump function with jump size $k$ in an expected runtime of only $n^{(k + 1)/2}k^{-k/2}e^{O(k)}$ fitness evaluations (Antipov, Doerr, Karavaev (GECCO 2020)). To obtain this performance, however, a non-standard parameter setting depending on the jump size $k$ was used. To overcome this difficulty, we propose to choose two parameters of the $(1+(\\lambda,\\lambda))$ genetic algorithm randomly from a power-law distribution. Via a mathematical runtime analysis, we show that this algorithm with natural instance-independent choices of the distribution parameters on all jump functions with jump size at most $n/4$ has a performance close to what the best instance-specific parameters in the previous work obtained. This price for instance-independence can be made as small as an $O(n\\log(n))$ factor. Given the difficulty of the jump problem and the runtime losses from using mildly suboptimal fixed parameters (also discussed in this work), this appears to be a fair price.

연구 동기 및 목표

• 점프 함수와 같이 비단일모달 문제에서 $(1+(\lambda,\lambda))$ GA의 파arameter 민감성 문제를 해결하기 위해.
• 고정된 파arameter를 중량이 두꺼운 분포에서의 무작위 선택으로 대체하여 인스턴스에 특화된 파arameter 조정이 필요 없도록 하기 위해.
• 무거운 꼬리 분포에서 무작위로 선택된 파arameter가 $k \leq n/4$인 모든 점프 함수에서 근사 최적 성능를 유지할 수 있는지 분석하기 위해.
• 특히 $k$에 대한 사전 지식이 없을 경우 성능 손실과 파arameter 독립성 사이의 트레이드오프를 평가하기 위해.

제안 방법

• 알고리즘은 검색 반경 $s$와 후손 개체 수 $\lambda$를 중량이 두꺼운 멱법 분포에서 무작위로 선택한다.
• 검색 반경 $s$는 $p = c = \sqrt{s/n}$로 매개변수화되어, 후손의 기대 히프링 거리가 $s$가 되도록 하며, 이는 표준 EAs의 돌연변이 비율과 유사하다.
• 돌연변이 비율 $p$와 교차 비중 $c$는 $p = 2^{\delta}\sqrt{k/n}$ 및 $c = 2^{-\delta}\sqrt{k/n}$로 설정되어 $pcn = k$의 불변성을 유지하며 일관된 검색 반경을 확보한다.
• 런타임 분석은 한 번의 반복에서 적합도 골짜기를 탈출할 확률 $P$에 대한 정확한 표현을 사용하며, 돌연변이 및 교차 단계를 고려한다.
• 기대 런타임(적합도 평가 횟수 기준)은 $E[T_f] = (\lambda_m + \lambda_c) \cdot P^{-1}$로 계산되며, $P$는 히프링 거리에 대한 이항 확률에서 유도된다.
• 수학적 분석을 통해 $\beta_s > 1$ 및 $\beta_\lambda \geq 2$일 경우, 알고리즘이 최적의 정적 파arameter 설정에 비해 $O(n\log n)$ 이내의 런타임을 달성함을 보여준다.

실험 결과

연구 질문

• RQ1 점프 크기 $k$에 대한 사전 지식이 없이도, 무거운 꼬리 분포에서 $\lambda$와 $s$를 동시에 무작위 선택하는 $(1+(\lambda,\lambda))$ GA가 점프 함수에서 근사 최적 성능를 달성할 수 있는가?
• RQ2 $\lambda$와 $s$에 대한 최적의 멱법 지수는 성능와 파arameter 독립성 사이의 균형을 맞추기 위해 무엇인가?
• RQ3 다양한 $k$ 값에 대해 중량이 두꺼운 알고리즘의 런타임이 최고의 알려진 정적 파arameter 설정과 어떻게 비교되는가?
• RQ4 무거운 꼬리 분포에서 파arameter를 무작위로 선택하는 것이 실용적으로 제한되고 수용 가능한 런타임 손실을 초래하는가?

주요 결과

• 중량이 두꺼운 $(1+(\lambda,\lambda))$ GA는 $\beta_s > 1$ 및 $\beta_\lambda \geq 2$ 조건을 만족할 경우, $k \leq n/4$인 모든 점프 함수에서 최적의 인스턴스에 특화된 파arameter 설정에 비해 $O(n\log n)$ 이내의 런타임을 달성한다.
• 모수 $n = 2^{20}$ 및 $k \in \{4, 16, 64\}$일 때, 파arameter 편차 $\delta = \pm1$는 최대 상수 요인만큼만 런타임을 증가시키지만, $|\delta| > 1$일 경우 런타임이 지수적으로 증가한다.
• 점프 크기 $k$가 알려져 있지 않거나 파arameter가 $k$에 독립적으로 선택되더라도, 알고리즘은 최적의 $n^{(k+1)/2}k^{-k/2}e^{O(k)}$ 런타임에 매우 가까운 성능를 유지한다.
• 한 번의 반복 비용은 $2E[\lambda]$이며, $\beta_\lambda > 2$일 경우 $E[\lambda]$는 유한하게 유지되어 반복당 안정적인 계산 비용을 보장한다.
• 분석 결과, 파arameter 독립성의 대가가 매우 작다—단지 $O(n\log n)$ 요인에 불과하므로, 비최적의 파arameter 선택이 있더라도 실용적인 접근법이 된다.
• 결과는 중량이 두꺼운 파arameter 선택 전략이 비단일모달 문제에 대해 실현 가능하고 확장 가능한 전략이 될 수 있으며, 성능 손실이 누적되더라도 수용 가능한 수준임을 시사한다.