[논문 리뷰] Population Scalability Analysis of Abstract Population-based Random Search: I. Spectral Radius

Tianshi Chen, Jun He|arXiv (Cornell University)|2012. 06. 20.

Metaheuristic Optimization Algorithms Research참고 문헌 32인용 수 1

한 줄 요약

이 논문은 일반적인 확률적 최적화 알고리즘인 추상적 인구 기반 랜덤 서치(ARS)에서 인구의 확장성을 분석하기 위해 기본 행렬을 사용하는 스펙트럼 반경 기반의 새로운 프레임워크를 제안한다. 이는 정규의 단조 증가 경로에서는 초선형 확장성이 불가능하다는 것을 증명하지만, '다리가 놓을 수 있는 점들'과 '다양성 유지'라는 두 조건을 만족할 경우, 속임수적 경로에서는 초선형 확장성이 가능할 수 있음을 밝힌다.

ABSTRACT

Population-based Random Search (RS) algorithms, such as Evolutionary Algorithms (EAs), Ant Colony Optimization (ACO), Artificial Immune Systems (AIS) and Particle Swarm Optimization (PSO), have been widely applied to solving discrete optimization problems. A common belief in this area is that the performance of a population-based RS algorithm may improve if increasing its population size. The term of population scalability is used to describe the relationship between the performance of RS algorithms and their population size. Although understanding population scalability is important to design efficient RS algorithms, there exist few theoretical results about population scalability so far. Among those limited results, most of them belong to case studies, e.g. simple RS algorithms for simple problems. Different from them, the paper aims at providing a general study. A large family of RS algorithms, called ARS, has been investigated in the paper. The main contribution of this paper is to introduce a novel approach based on the fundamental matrix for analyzing population scalability. The performance of ARS is measured by a new index: spectral radius of the fundamental matrix. Through analyzing fundamental matrix associated with ARS, several general results have been proven: (1) increasing population size may increase population scalability; (2) no super linear scalability is available on any regular monotonic fitness landscape; (3) potential super linear scalability may exist on deceptive fitness landscapes; (4) “bridgeable point” and “diversity preservation” are two necessary conditions for super linear scalability

연구 동기 및 목표

• 인구 기반 랜덤 서치(RS) 알고리즘에서 인구 확장성에 대한 일반적인 이론적 프레임워크가 부족한 문제를 해결하기 위해.
• 다양한 적합도 경로에서 인구 크기를 증가시키는 것이 초선형 성능 향상으로 이어질 수 있는지 조사하기 위해.
• 간단한 사례 연구를 넘어서 RS 알고리즘에서 초선형 확장성이 가능해지기 위한 필수 조건을 규명하기 위해.
• 유전 알고리즘(EAs), PSO, ACO, AIS를 포함한 광범위한 RS 알고리즘 가족에 적용 가능한 일반적인 분석 방법을 개발하기 위해.
• 특히 기본 행렬의 스펙트럼 반경을 활용한 행렬 이론적 도구를 통해 확장성의 이론적 한계를 설정하기 위해.

제안 방법

• 인구 기반 랜덤 서치(RS) 알고리즘의 광범위한 클래스인 추상적 인구 기반 랜덤 서치(ARS)에서 인구 확장성을 분석하기 위한 일반적 프레임워크를 제안한다.
• ARS 내 상태 전이를 모델링하기 위해 기본 행렬을 핵심 분석 도구로 도입한다.
• 수렴 행동과 확장성을 정량화하기 위해 기본 행렬의 스펙트럼 반경을 성능 지표로 정의한다.
• 다양한 적합도 경로의 구조에 따라 ARS의 일반적 성질을 유도하기 위해 행렬 이론적 분석을 적용한다.
• 스펙트럼 분석을 통해 정규의 단조 증가 경로와 속임수적 경로 간의 확장성 추세를 비교한다.
• 초선형 확장성이 가능하기 위해 필요한 구조적 조건인 '다리가 놓을 수 있는 점들'과 '다양성 유지'를 규명한다.

실험 결과

연구 질문

• RQ1 인구 기반 랜덤 서치 알고리즘에서 인구 크기를 증가시키는 것이 초선형 확장성을 초래할 수 있는가?
• RQ2 어떤 적합도 경로의 구조적 특성이 초선형 확장성을 가능하게 하거나 금지하는가?
• RQ3 기본 행렬의 스펙트럼 반경은 ARS의 성능과 확장성과 어떻게 관련이 있는가?
• RQ4 다양한 RS 알고리즘에서 초선형 확장성이 가능해지기 위한 일반 조건은 무엇인가?
• RQ5 '다리가 놓을 수 있는 점들'과 '다양성 유지'는 초선형 확장성 실현에 어떤 역할을 하는가?

주요 결과

• 인구 크기를 증가시키는 것은 특정 경로 조건 하에서는 인구 확장성을 향상시킬 수 있지만, 그렇지 않으면 그렇지 않다.
• 어떤 정규의 단조 증가 적합도 경로이든, 인구 크기에 관계없이 초선형 확장성은 불가능하다.
• 초선형 확장성이 가능한 가능성은, 단순한 탐색 경로를 속이기 때문에 오해의 소지가 있는 속임수적 경로에서만 존재한다.
• 효율적인 분지 간 탐색을 가능하게 하는 전이점인 '다리가 놓을 수 있는 점들'의 존재는 초선형 확장성의 필수 조건이다.
• 탐색 공간 전역에서 충분한 탐색 능력을 유지하는 '다양성 유지'는 초선형 확장성의 또 다른 필수 조건이다.
• 기본 행렬의 스펙트럼 반경은 ARS에서 확장성 추세를 정량화하기 위한 타당하고 분석 가능한 성능 지표로 기능한다.