[논문 리뷰] General Upper Bounds on the Running Time of Parallel Evolutionary Algorithms

Jörg Lässig, Dirk Sudholt|arXiv (Cornell University)|2012. 06. 15.

Metaheuristic Optimization Algorithms Research참고 문헌 29인용 수 4

한 줄 요약

이 논문은 공간적으로 구조화된 인구를 가진 병렬 유전적 알고리즘의 기대 실행 시간에 대한 상한을 유도하기 위한 일반적인 방법을 제안한다. 이 방법은 피트니스 레벨 방법을 기반으로 하며, 밀도가 높은 이동(topology) 구조, 예를 들어 완전 그래프와 같은 경우, 점프 함수에서 최대 $ n^{k/2} $ 정도의 속도 향상을 달성함으로써 상당한 성능 향상을 이끌어내며, 기능 평가 횟수는 점근적으로 최적을 유지한다. 또한 최적 성능을 위한 명시적인 인구 크기 권장 사항을 제공한다.

ABSTRACT

We present a new method for analyzing the running time of parallel evolutionary algorithms with spatially structured populations. Based on the fitness-level method, it yields upper bounds on the expected parallel running time. This allows to rigorously estimate the speedup gained by parallelization. Tailored results are given for common migration topologies: ring graphs, torus graphs, hypercubes, and the complete graph. Example applications for pseudo-Boolean optimization show that our method is easy to apply and that it gives powerful results. In our examples the possible speedup increases with the density of the topology. Surprisingly, even sparse topologies like ring graphs lead to a significant speedup for many functions while not increasing the total number of function evaluations by more than a constant factor. We also identify which number of processors yield asymptotically optimal speedups, thus giving hints on how to parametrize parallel evolutionary algorithms.

연구 동기 및 목표

• 공간적으로 구조화된 인구를 가진 병렬 유전적 알고리즘의 실행 시간을 분석하기 위한 엄밀한 이론적 프레임워크를 제공하는 것.
• 병렬화로 인한 속도 향상과 이주한 개체 수를 기준으로 한 총 통신 노력(communication effort)을 추정하는 것.
• 점근적으로 최적의 속도 향상을 달성하면서도 기능 평가 횟수를 최소화하는 최적의 인구 크기를 규명하는 것.
• 표준 이진 부울 함수에서 다양한 이동(topology) 구조(링, 토러스, 하이퍼큐브, 완전 그래프)의 성능을 비교하는 것.
• 이론적 한계에 기반한 실용적인 지침을 제공하여 병렬 EAs의 파rameter 설정을 유도하는 것.

제안 방법

• 피트니스 레벨 집합을 피트니스 순서로 나누어 검색 공간을 분할함으로써, 병렬 유전적 알고리즘에 피트니스 레벨 방법을 적용한다.
• 최상위 피트니스 레벨에서 이웃한 섬들로 개체가 전송되는 최소 전송 확률 $ p $ 를 기반으로 기대 병렬 실행 시간에 대한 일반적인 상한을 유도한다.
• 각각의 연결성 특성을 활용하여 링, 토러스, 하이퍼큐브, 완전 그래프 등의 특정 구조에 대해 일반 상한을 조정한다.
• 효율적인 대기 시간 감소 개념을 사용한다. 여기서 기대 향상 시간은 구조의 밀도에 따라 감소하며, 예를 들어 링의 경우 제곱근, 토러스의 경우 세제곱근, 하이퍼큐브의 경우 로그, 완전 그래프의 경우 상수로 감소한다.
• 표준 함수(OneMax, LO, Jump_k)에 이 방법을 적용하여 병렬 실행 시간과 통신 비용에 대한 명시적 상한을 도출한다.
• 최적의 인구 크기 $ \mu $ 는 전체 기능 평가 횟수가 심지어 상당한 속도 향상이 이루어진다고 하더라도 점근적으로 변화하지 않도록 선택될 수 있음을 입증한다.

실험 결과

연구 질문

• RQ1 이동(topology) 구조의 선택이 병렬 유전적 알고리즘의 기대 실행 시간에 미치는 영향은 어떠한가?
• RQ2 병렬화로 달성 가능한 최대 속도 향상은 얼마이며, 이는 구조의 밀도와 어떻게 스케일링되는가?
• RQ3 어떤 인구 크기 $ \mu $ 에서 속도 향상이 점근적으로 최적화되며, 이는 함수 클래스에 따라 어떻게 달라지는가?
• RQ4 상당한 속도 향상을 달성하면서도 전체 기능 평가 횟수를 점근적으로 그대로 유지할 수 있는가?
• RQ5 통신 비용은 구조와 인구 크기에 따라 어떻게 스케일링되며, 시간과 통신 간의 상충 관계는 어떠한가?

주요 결과

• OneMax 함수의 경우, 링(topology)은 각 피트니스 레벨의 기대 대기 시간을 제곱근으로 줄여 $ p = \Omega(1) $ 일 때 $ \log n $ 의 속도 향상을 달성한다.
• 일반적으로 단조 증가하는 함수인 LO의 경우, 링(topology)는 $ \sqrt{n} $ 의 속도 향상을 달성하며, 토러스(topology)는 대기 시간을 세제곱근으로 줄여 $ O(n^{4/3}) $ 의 병렬 실행 시간을 얻는다.
• $ \textup{Jump}_k $ 함수에서 $ 3 \leq k = O(n/\log n) $ 일 경우, 속도 향상은 $ n^{k/2} $ 의 순서에 도달하며, 완전 그래프는 $ O(n) $ 의 병렬 실행 시간을 달성한다.
• 완전 그래프는 $ O(n) $ 의 최소 병렬 실행 시간 상한을 달성하지만, 이는 $ O(n^3) $ 의 통신 노력(cost)을 수반한다. 반면 하이퍼큐브는 $ O(n \log n) $ 의 통신 비용과 $ O(n) $ 의 시간을 제공하여 균형 잡힌 성능을 보인다.
• LO 함수의 경우, 토러스 그래프는 $ O(n^2) $ 의 최소 통신 비용을 제공하지만, 시간 상한은 $ O(n^{4/3}) $ 으로 더 높으며, 하이퍼큐브는 두 지표 모두에서 더 우수한 트레이드오프를 제공한다.
• OneMax에서 $ p = \Omega(1) $ 일 경우, $ \mu = O(\log n) $ 의 인구 크기로 선형 속도 향상이 달성 가능하며, 링에서 LO의 경우 $ \mu = O(\sqrt{n}) $ 가 최적이고, 완전 그래프에서 LO의 선형 속도 향상을 달성하기 위해서는 $ \mu = \Theta(n) $ 가 필요하다.