[논문 리뷰] Novel Analysis of Population Scalability in Evolutionary Algorithms

Jun He, Tianshi Chen외 1명|arXiv (Cornell University)|2011. 08. 23.

Metaheuristic Optimization Algorithms Research참고 문헌 39인용 수 4

한 줄 요약

이 논문은 흡수성 마코프 체인의 기본 행렬을 사용한 스펙트럴 반경 기반 분석을 도입하여 엘리트형 진화 알고리즘에서 인구 크기의 확장성에 대해 연구한다. 이는 더 큰 인구 크기일수록 항상 평균 수렴 속도를 향상시키지만, 때로는 최적 해를 찾는 데 소요되는 기대 시간을 증가시킬 수 있음을 증명하며, 특히 '다리가 놓일 수 있는' 적합도 표면에서 초선형 확장성(선형 이상의 향상)이 발생할 조건을 설정한다.

ABSTRACT

Population-based evolutionary algorithms (EAs) have been widely applied to solve various optimization problems. The question of how the performance of a population-based EA depends on the population size arises naturally. The performance of an EA may be evaluated by different measures, such as the average convergence rate to the optimal set per generation or the expected number of generations to encounter an optimal solution for the first time. Population scalability is the performance ratio between a benchmark EA and another EA using identical genetic operators but a larger population size. Although intuitively the performance of an EA may improve if its population size increases, currently there exist only a few case studies for simple fitness functions. This paper aims at providing a general study for discrete optimisation. A novel approach is introduced to analyse population scalability using the fundamental matrix. The following two contributions summarize the major results of the current article. (1) We demonstrate rigorously that for elitist EAs with identical global mutation, using a lager population size always increases the average rate of convergence to the optimal set; and yet, sometimes, the expected number of generations needed to find an optimal solution (measured by either the maximal value or the average value) may increase, rather than decrease. (2) We establish sufficient and/or necessary conditions for the superlinear scalability, that is, when the average convergence rate of a $(μ+μ)$ EA (where $μ\ge2$) is bigger than $μ$ times that of a $(1+1)$ EA.

연구 동기 및 목표

• 사람의 직관적 추측을 넘어서, 인구 크기가 진화 알고리즘 성능에 미치는 영향을 엄밀하게 분석하기 위해.
• 더 큰 인구 크기가 평균 수렴 속도를 향상시키지만, 최적 해를 찾는 데 소요되는 기대 시간을 증가시킬 수 있다는 역설을 해결하기 위해.
• $(\mu+\mu)$ EAs가 $(1+1)$ EAs보다 초선형 확장성의 일반적이고 수학적으로 탄탄한 조건을 설정하기 위해.
• 스펙트럴 반경을 통해 기본 행렬을 사용하여 인구 크기 간의 이론적 비교가 가능한 인구 확장성의 공식화를 위해.
• 확장성이 문제 유형에 따라 다르게 나타나며, 모든 최적화 문제에 대해 일반적으로 적용 가능하지 않다는 점을 명확히 하기 위해.

제안 방법

• 흡수성 마코프 체인으로 엘리트형 EAs를 모델링하여 일시적 상태와 흡수 상태를 포괄한다.
• 기본 행렬 $\mathbf{N}$ 을 사용하여 최적 집합으로의 흡수 전까지 일시적 상태에 대한 기대 방문 횟수를 표현한다.
• 스펙트럴 반경의 비율 $\rho(\mathbf{N}^{(1)}) / \rho(\mathbf{N}^{(\mu)})$ 을 통해 인구 확장성을 정의하며, 여기서 $\rho(\mathbf{N})$ 은 평균 수렴 속도를 반영한다.
• 스펙트럴 반경의 역수 $1/\rho(\mathbf{N})$ 이 최적 집합으로의 평균 수렴 속도와 동일하다는 것을 증명한다.
• 검색 공간 내 '다리로 통과하는 길'을 횡단할 확률에 기반한 초선형 확장성의 필요 및 충분 조건을 유도한다.
• 프레임워크를 두 가지 사례 연구에 적용: 하나는 다리가 놓일 수 없는 표면(초선형 확장성 불가), 다른 하나는 다리가 놓일 수 있는 표면(초선형 확장성 가능).

실험 결과

연구 질문

• RQ1 엘리트형 EAs에서 인구 크기를 증가시킬 때, 평균 수렴 속도에 대해 초선형 확장성이 발생할 조건은 무엇인가?
• RQ2 왜 더 큰 인구 크기는 일반적인 직관과는 달리 최적 해를 찾는 데 소요되는 평균 세대 수를 늘릴 수 있는가?
• RQ3 기본 행렬의 차원이 다른 다양한 크기의 EAs에서, 인구 확장성은 어떻게 공식적으로 정의하고 측정할 수 있는가?
• RQ4 적합도 표면의 '다리가 놓일 수 있는가' 여부가 초선형 확장성의 가능성을 증가시키거나 방해하는 데 어떤 역할을 하는가?
• RQ5 기본 행렬의 스펙트럴 반경이 다양한 진화 알고리즘 간의 인구 확장성 평가에 있어 강력하고 일반적인 측정 기준이 될 수 있는가?

주요 결과

• 동일한 글로벌 돌연변이를 가진 엘리트형 EAs에서 더 큰 인구 크기는 기본 행렬의 스펙트럴 반경 덕분에 항상 최적 집합으로의 평균 수렴 속도를 향상시킨다.
• 수렴 속도가 향상됨에도 불구하고, 더 큰 인구 크기일수록 최적 해를 찾는 데 소요되는 기대 세대 수가 증가할 수 있으며, 이는 일반적으로 '크면 클수록 좋다'는 직관과 모순된다.
• 초선형 확장성—즉, $(\mu+\mu)$ EA의 수렴 속도가 $(1+1)$ EA의 $\mu$ 배를 초과하는 것—은 검색 공간 내 '다리로 통과하는 길'을 횡단할 확률이 충분히 높을 경우에만 발생할 수 있다.
• 다리가 놓일 수 없는 적합도 표면에서는 $(\mu+\mu)$ EA의 평균 수렴 속도가 $(1+1)$ EA의 $\mu$ 배를 초과하지 않는다.
• 스펙트럴 반경 $\rho(\mathbf{N})$ 은 일시적 상태에 대한 기대 방문 횟수와 관련된 '최대 최소' 측정 기준으로 기능하며, 확장성 분석의 이론적 기초를 제공한다.
• 제안된 프레임워크는 인구 확장성이 모든 문제 인스턴스에 대해 균일하지 않음을 드러내며, 예를 들어 0-1 배낭 문제의 일부 인스턴스에서는 성립할 수 있지만 다른 인스턴스에서는 성립하지 않을 수 있음을 보여준다.