[논문 리뷰] Towards a More Practice-Aware Runtime Analysis of Evolutionary Algorithms

Eduardo Carvalho Pinto, Carola Doerr|arXiv (Cornell University)|2018. 12. 03.

Evolutionary Algorithms and Applications참고 문헌 2인용 수 26

한 줄 요약

이 논문은 진화 알고리즘의 이론적 런타임 분석에 대해 두 가지 핵심 개선을 제안한다: (1) 자식 개체가 부모와 동일할 경우 중복된 적합도 평가를 제외하는 비용 모델 조정 — 실제로는 흔하지만 이론에서는 忽略되는 바이며, (2) 최적 해가 아닌 중간 적합도 수준에 도달하는 데 걸리는 기대 시간을 추적하는 런타임 프로파일 도입. 주요 결과로는, 이른바 그reedy (2+1) GA가 OneMax 문제에서 어떤 단항 비편향 블랙박스 알고리즘보다도 뛰어난 성능을 보이며, 오랫동안 지속된 교차 연산의 이점에 대한 전통적 가정을 도전한다.

ABSTRACT

Theory of evolutionary computation (EC) aims at providing mathematically founded statements about the performance of evolutionary algorithms (EAs). The predominant topic in this research domain is runtime analysis, which studies the time it takes a given EA to solve a given optimization problem. Runtime analysis has witnessed significant advances in the last couple of years, allowing us to compute precise runtime estimates for several EAs and several problems. Runtime analysis is, however (and unfortunately!), often judged by practitioners to be of little relevance for real applications of EAs. Several reasons for this claim exist. We address two of them in this present work: (1) EA implementations often differ from their vanilla pseudocode description, which, in turn, typically form the basis for runtime analysis. To close the resulting gap between empirically observed and theoretically derived performance estimates, we therefore suggest to take this discrepancy into account in the mathematical analysis and to adjust, for example, the cost assigned to the evaluation of search points that equal one of their direct parents (provided that this is easy to verify as is the case in almost all standard EAs). (2) Most runtime analysis results make statements about the expected time to reach an optimal solution (and possibly the distribution of this optimization time) only, thus explicitly or implicitly neglecting the importance of understanding how the function values evolve over time. We suggest to extend runtime statements to runtime profiles, covering the expected time needed to reach points of intermediate fitness values. As a direct consequence, we obtain a result showing that the greedy (2+1) GA of Sudholt [GECCO 2012] outperforms any unary unbiased black-box algorithm on OneMax.

연구 동기 및 목표

• 실제 진화 알고리즘 구현에서 흔한 중복된 적합도 평가가 이론에서는 忽略되는 바, 이론적 런타임 분석과 실제 구현 간의 간극을 해소하기 위해.
• 특히 적합도 평가 비용 측면에서 실제 진화 알고리즘 행동을 더 정확히 모델링함으로써 이론적 결과의 실용성 향상.
• 기존 런타임 분석을 최적 해를 넘어서 중간 적합도 수준까지 확장하여 최적화 과정에서 알고리즘 행동에 대한 더 깊은 통찰을 가능하게 하기 위해.
• 진화 계산 분야에서 이론적 연구와 경험적 연구 간의 더 유의미한 대화를 위한 기반 마련.
• 그레디 (2+1) GA의 우월성에 대한 강력한 이론적 결과를 통해 제안된 프레임워크의 실무적 영향을 입증하기 위해.

제안 방법

• 자식 개체가 부모와 동일할 경우의 적합도 평가를 제외하도록 런타임 분석을 수정함. 이는 표준 진화 알고리즘에서 일반적으로 계산 비용이 낮은 확인 조건을 가정함.
• 전역 최적 해가 아닌 중간 적합도 수준에 도달하는 데 걸리는 기대 시간을 계산하는 런타임 프로파일을 도입함. 이는 제1도달시간 분석을 사용함.
• (1+1) EA, RLS 및 변형된 변이 및 선택 규칙을 가진 변종과 같은 표준 알고리즘에 새로운 프레임워크를 적용함.
• OneMax 및 LeadingOnes와 같은 문제에서 특정 적합도 수준에 도달하는 데 필요한 기대 런타임에 대한 닫힌 형태의 수식 유도. 이는 확률론적 및 확률적 분석을 사용함.
• n=500 및 n=10,000일 때 LeadingOnes 문제에서 이론적 예측과 경험적 결과를 비교하여 신규 모델의 정확도를 검증함.
• 프레임워크를 활용해, 조절된 선택을 가진 그레디 (2+1) GA가 OneMax 문제에서 어떤 단항 비편향 블랙박스 알고리즘보다도 뛰어나다는 것을 증명함.

실험 결과

연구 질문

• RQ1 자식 개체가 부모와 동일할 경우 중복된 적합도 평가를 제거할 때, 표준 진화 알고리즘의 이론적 런타임 추정치에 어떤 영향을 미치는가?
• RQ2 중간 적합도 수준을 추적하는 런타임 프로파일은 이론적 결과의 해석 가능성과 실용적 관련성을 어느 정도 향상시킬 수 있는가?
• RQ3 제안된 프레임워크는 교차 연산이나 엘리티즘의 이점과 같은 진화 알고리즘 간 상대적 성능에 대해 새로운 통찰을 드러낼 수 있는가?
• RQ4 수정된 비용 모델은 OneMax 및 LeadingOnes와 같은 고전 문제에서 알고리즘의 순위를 다르게 만들 수 있는가?
• RQ5 새로운 성능 측정법은 그레디 (2+1) GA와 같은 특정 알고리즘 설계의 이전에 드러나지 않았던 이점들을 드러낼 수 있는가?

주요 결과

• (1+1) EA >0은 n=10,000인 LeadingOnes 문제에서 중간 적합도 수준 7,980까지 (1+1) EA 0→1 및 RLS보다 빠르게 성능을 보인다.
• (1+1) EA 0→1은 n=10,000인 LeadingOnes 문제에서 중간 적합도 수준 7,980에서 8,998 사이에 도달하는 데 가장 빠르게 작동한다.
• RLS는 n=10,000인 LeadingOnes 문제에서 중간 적합도 수준 8,999를 초과할 때에만 최고의 성능을 보인다.
• n=500일 때 경험적 결과는 이론적 런타임 프로파일 예측과 밀도 있게 일치하며, (1+1) EA >0의 경우 i=429, (1+1) EA 0→1의 경우 i=449에서 절단점이 발생한다.
• 조절된 선택을 가진 그레디 (2+1) GA는 OneMax 문제에서 어떤 단항 비편향 블랙박스 알고리즘보다도 뛰어나며, 강력한 이론적 우월성을 입증한다.
• 제안된 런타임 프로파일 프레임워크는 기존의 기대 최적화 시간 분석에서는 드러나지 않는 알고리즘 간의 세밀한 성능 차이를 드러낸다.