[논문 리뷰] Towards a Theory-Guided Benchmarking Suite for Discrete Black-Box Optimization Heuristics: Profiling $(1+λ)$ EA Variants on OneMax and LeadingOnes

Carola Doerr, Furong Ye외 3명|arXiv (Cornell University)|2018. 08. 17.

Metaheuristic Optimization Algorithms Research참고 문헌 19인용 수 14

한 줄 요약

이 논문은 COCO 프레임워크를 의사불리너 문제에 적응시켜 이산 블랙박스 최적화를 위한 이론 유도형 벤치마킹 세트를 제안한다. 이는 OneMax 및 LeadingOnes에서 $(1+\lambda)$ EA 변종의 세밀한 경험적 분석을 가능하게 하며, 최적화 시간에 대한 개선된 이론적 상한을 제시한다. 이론적 상한과 경험적 결과 간의 강력한 일치를 보이며, 특히 $\lambda \geq 1$ 인 $(1+\lambda)$ EA의 경우 뚜렷하다. 본 연구는 이산 진화 계산 분야에서 이론적 연구와 경험적 연구를 연결하는 통합 벤치마킹 플랫폼의 기초를 마련한다.

ABSTRACT

Theoretical and empirical research on evolutionary computation methods complement each other by providing two fundamentally different approaches towards a better understanding of black-box optimization heuristics. In discrete optimization, both streams developed rather independently of each other, but we observe today an increasing interest in reconciling these two sub-branches. In continuous optimization, the COCO (COmparing Continuous Optimisers) benchmarking suite has established itself as an important platform that theoreticians and practitioners use to exchange research ideas and questions. No widely accepted equivalent exists in the research domain of discrete black-box optimization. Marking an important step towards filling this gap, we adjust the COCO software to pseudo-Boolean optimization problems, and obtain from this a benchmarking environment that allows a fine-grained empirical analysis of discrete black-box heuristics. In this documentation we demonstrate how this test bed can be used to profile the performance of evolutionary algorithms. More concretely, we study the optimization behavior of several $(1+λ)$ EA variants on the two benchmark problems OneMax and LeadingOnes. This comparison motivates a refined analysis for the optimization time of the $(1+λ)$ EA on LeadingOnes.

연구 동기 및 목표

• 이산 블랙박스 최적화 분야에서 이론적 연구와 경험적 연구 간 격차를 해소하기 위해 통합된 벤치마킹 환경을 구축하기 위해.
• COCO 소프트웨어 프레임워크를 개선하여 이산적, 의사불리너 진화 계산 알고리즘의 세밀한 경험적 분석을 지원하기 위해.
• 표준 벤치마크 문제에서 정적 및 자기조절 매개변수를 가진 $(1+\lambda)$ EA 변종의 성능을 조사하기 위해.
• 경험적 통찰을 바탕으로 LeadingOnes 함수에서 $(1+\lambda)$ EA의 최적화 시간에 대한 이론적 상한을 개선하기 위해.
• 이산 진화 계산 분야에서 널리 채택되는 벤치마크 세트의 기초를 마련하기 위해. 이는 연속 최적화 분야의 COCO와 유사하다.

제안 방법

• OneMax 및 LeadingOnes와 같은 이산적 의사불리너 최적화 문제를 지원하도록 COCO 소프트웨어 스택을 개선하기 위해.
• 정적 돌연변이 확률과 후손 집단 크기 $\lambda$를 가진 $(1+\lambda)$ EA 변종을 구현하며, 모든 후손이 부모와 다름을 보장한다 (즉, $(1+\lambda)$ EA >0).
• 전통적인 기대 최적화 시간 외에 고정 예산 관점에서 성능을 분석하기 위해.
• 각 세대의 진전 확률을 사용하여 기대 최적화 시간에 대한 이론적 상한을 유도한다: LeadingOnes의 경우 $1 - (1 - p(1-p)^j)^\lambda$이며, $(1+\lambda)$ EA >0의 재표본 전략에 따라 조정된다.
• 다양한 $n$과 $\lambda$에서의 다수의 실행 평균 결과와 이론적 상한을 비교하여 검증한다.
• 경험적으로 관찰된 $(1+1)$ EA >0과 $(1+50)$ EA >0 간의 성능 유사성에 기반해 LeadingOnes에서 $(1+\lambda)$ EA에 대한 개선된 분석을 제안한다.

실험 결과

연구 질문

• RQ1 다양한 $\lambda$와 $p$를 가진 $(1+\lambda)$ EA 변종이 OneMax 및 LeadingOnes에서 수렴 속도와 안정성 측면에서 어떻게 성능을 내는가?
• RQ2 LeadingOnes에서 $(1+\lambda)$ EA의 최적화 시간에 대한 이론적 상한은 경험적 관찰과 어느 정도 일치하는가?
• RQ3 다양한 $\lambda$ 값에도 불구하고 $(1+1)$ EA >0과 $(1+50)$ EA >0이 LeadingOnes에서 유사한 성능를 보이는 이유는 무엇인가?
• RQ4 경험적 프로파일링은 이산 블랙박스 최적화에서 이론적 실행 시간 상한의 개선에 어떻게 기여할 수 있는가?
• RQ5 이론 유도형 이산 최적화 벤치마킹 세트를 위한 벤치마크 문제 선정에 있어 어떤 설계 원칙이 지침이 되어야 하는가?

주요 결과

• LeadingOnes에서 $(1+\lambda)$ EA >0의 기대 최적화 시간에 대한 이론적 상한은 경험적 평균과 매우 밀접하게 일치한다. 특히 중간 크기의 $\lambda$에서 뚜렷하다.
• 모든 $n=1000$일 때, $(1+50)$ EA >0의 이론적 상한은 약 54.310이며, 경험적 평균은 55.2%로 강력한 일치를 보인다.
• LeadingOnes에서 $(1+1)$ EA >0과 $(1+50)$ EA >0의 성능는 거의 동일하다. 이는 LeadingOnes에서 $(1+\lambda)$ EA에 대한 개선된 이론적 분석을 촉진한다.
• 정리 3의 상한은 $\lambda=1$일 때 날카롭게 가깝다. 이는 이전 결과 [17] 및 [18]에 의해 확인되었으며, 다수의 개선 후손이 한 세대에 동시에 발생할 확률이 낮기 때문에 더 큰 $\lambda$에 대해서도 여전히 날카로운 근접성을 유지한다.
• $(1+\lambda)$ EA >0의 재표본 전략은 기대 적합도 향상에 $1/(1 - (1-p)^n)$ 배의 요인을 제공하며, 이는 이론적 상한에 통합되었다.
• 경험적 결과는 $\lambda$ 증가가 최적화 시간을 감소시키지만, $\lambda=50$를 초과하면 개선 효과가 점점 줄어들며, 수익 감소 현상이 나타남을 보여준다.