[논문 리뷰] Running Time Analysis of the (1+1)-EA for OneMax and LeadingOnes under Bit-wise Noise

Chao Qian, Chao Bian외 2명|arXiv (Cornell University)|2017. 11. 02.

Metaheuristic Optimization Algorithms Research참고 문헌 27인용 수 3

한 줄 요약

이 논문은 각 비트가 확률 q로 독립적으로 뒤집히는 비트별 노이즈 하에서 OneMax 및 LeadingOnes 문제에 대한 (1+1)-EA의 최초의 실행 시간 분석을 제공한다. 다항 실행 시간을 달성할 수 있는 것은 낮은 노이즈 수준(q = O(log n / n))일 때에만 가능하며, 샘플링이 노이즈에 대한 내성을 높여주어 더 높은 노이즈 수준에서도 다항 시간 수렴을 가능하게 함을 보여준다.

ABSTRACT

In many real-world optimization problems, the objective function evaluation is subject to noise, and we cannot obtain the exact objective value. Evolutionary algorithms (EAs), a type of general-purpose randomized optimization algorithm, have been shown to be able to solve noisy optimization problems well. However, previous theoretical analyses of EAs mainly focused on noise-free optimization, which makes the theoretical understanding largely insufficient for the noisy case. Meanwhile, the few existing theoretical studies under noise often considered the one-bit noise model, which flips a randomly chosen bit of a solution before evaluation; while in many realistic applications, several bits of a solution can be changed simultaneously. In this paper, we study a natural extension of one-bit noise, the bit-wise noise model, which independently flips each bit of a solution with some probability. We analyze the running time of the (1+1)-EA solving OneMax and LeadingOnes under bit-wise noise for the first time, and derive the ranges of the noise level for polynomial and super-polynomial running time bounds. The analysis on LeadingOnes under bit-wise noise can be easily transferred to one-bit noise, and improves the previously known results. Since our analysis discloses that the (1+1)-EA can be efficient only under low noise levels, we also study whether the sampling strategy can bring robustness to noise. We prove that using sampling can significantly increase the largest noise level allowing a polynomial running time, that is, sampling is robust to noise.

연구 동기 및 목표

• 비트별 노이즈 모델 하에서 각 비트가 확률 q로 독립적으로 뒤집힐 때 (1+1)-EA가 OneMax 및 LeadingOnes 문제를 풀기 위한 실행 시간을 분석하는 것.
• 비트별 노이즈 모델 하에서 (1+1)-EA가 다항 또는 초다항 실행 시간을 달성하는 데 필요한 노이즈 수준의 임계값(p 및 q 기준)을 규명하는 것.
• 특히 더 높은 노이즈 수준에서 (1+1)-EA의 내성 향상 여부를 샘플링 전략이 어떻게 향상시킬 수 있는지 조사하는 것.
• 이전의 한 비트 노이즈 결과를 개선하고 더 일반적인 비트별 노이즈 모델으로 확장하는 것.
• 극도의 노이즈 조건 하에서 샘플링의 한계를 탐색하고, 샘플링이 다항 실행 시간을 보장하지 못하는 조건을 규명하는 것.

제안 방법

• 실행 시간의 기대값을 유도하기 위해 드리프트 분석을 사용하며, 각 반복에서 최적해까지의 거리 감소 기대값을 측정한다.
• 샘플링이 없는 (1+1)-EA의 경우, 비트별 노이즈(p, q) 하에서 기대 드리프트를 계산하며, p는 해에 대한 노이즈 발생 확률, q는 비트 뒤집기 확률을 나타낸다.
• 샘플링 변형의 경우, 각 해를 m번 평가하고 가장 좋은 적합도 추정치를 선택하며, 적합도 추정의 높은 신뢰도를 확보하기 위해 m은 O(n^4 log n)으로 선택된다.
• 현재 해의 적합도 수준에 따라 경우를 나누어 분석하며, 특히 최적해에 가까운 해들(예: n-3, n-2, n-1개의 앞선 일치 비트)에 집중한다.
• 노이즈 하에서 더 나은 해와 더 나쁜 해 사이의 기대 적합도 차이를 분석하여, 샘플링이 이들을 신뢰성 있게 구분할 수 있는지 평가한다.
• 드리프트 정리에 기반한 이론적 경계를 도출하여 최종적으로 비트별 노이즈 하에서 샘플링 변형의 기대 실행 시간을 O(n^8)로 유도한다.

실험 결과

연구 질문

• RQ1 비트별 노이즈 하에서 (1+1)-EA가 OneMax 및 LeadingOnes 문제를 다항 기대 시간 내에 해결할 수 있는 노이즈 매개변수(p, q)의 범위는 무엇인가?
• RQ2 비트별 노이즈 모델 하에서 고노이즈 수준(예: q = ω(log n / n))에서 (1+1)-EA의 성능은 어떻게 악화되는가?
• RQ3 샘플링 전략은 (1+1)-EA가 다항 실행 시간을 유지할 수 있는 노이즈 수준의 범위를 어떻게 크게 확장할 수 있는가?
• RQ4 낮은 노이즈에서는 성공했지만, q = ω(log n / n) 또는 q ≥ 1/2일 때는 왜 샘플링이 다항 실행 시간을 보장하지 못하는가?
• RQ5 비트별 노이즈 하에서 LeadingOnes의 분석은 OneMax와 어떻게 비교되며, 샘플링의 효과성 차이를 설명할 수 있는 이유는 무엇인가?

주요 결과

• 비트별 노이즈 하에서 (1+1)-EA는 q = O(log n / n)일 때에만 OneMax 및 LeadingOnes 문제를 다항 기대 시간 내에 해결할 수 있으며, 이는 양 문제 모두에 대해 경계가 날카롭게 유지된다.
• 샘플링이 없는 (1+1)-EA의 경우, q ≥ 1/2 또는 q = 1/2 - 1/n^ω(1)일 때 기대 실행 시간이 초다항이 되어 노이즈에 매우 민감함을 보인다.
• 샘플링 전략은 내성 향상에 기여하여, (1+1)-EA가 q = O(log n / n)일 때조차도 다항 실행 시간을 달성할 수 있도록 하며, 비샘플링 버전보다 유의미하게 뛰어난 성능을 보인다.
• 분석 결과, q = ω(log n / n)일 때 샘플링은 효과가 없으며, 이는 더 나은 해와 더 나쁜 해 사이의 기대 적합도 차이가 너무 작아서 신뢰성 있게 구분할 수 없기 때문이다.
• 샘플링이 적용된 (1+1)-EA의 기대 실행 시간은 O(n^8)이며, 각 반복에 O(n^4 log n)회의 적합도 평가가 필요하여 총 기대 실행 시간은 여전히 다항 시간 범위에 머무른다.
• 비트별 노이즈 하에서 LeadingOnes의 분석은 이전의 한 비트 노이즈 결과를 개선하여 더 날카운 경계를 제공하며, 이 설정에서 샘플링의 내성 확보를 확인한다.