[논문 리뷰] Linear Convergence on Positively Homogeneous Functions of a Comparison Based Step-Size Adaptive Randomized Search: the (1+1) ES with Generalized One-fifth Success Rule

Anne Auger, Nikolaus Hansen|arXiv (Cornell University)|2013. 10. 31.

Metaheuristic Optimization Algorithms Research참고 문헌 15인용 수 21

한 줄 요약

이 논문은 비교 기반 단계 크기 조정 메커니즘을 사용하여, 정도 α의 양의 동차 함수 위에서 일반화된 일분의 오차 성공 규칙을 적용한 (1+1) 진화 전략의 전역 선형 수렴성을 증명한다. 분석은 엄밀히 증가하는 함수와 양의 동차 성분으로 구성된 단모양 함수에 대해 거의 확실한 수렴성과 기대 수렴성을 확립하며, 이는 비볼록성 및 비연속 함수를 포함한 함수 클래스에 대해 성립한다. 이는 선형 함수에서 단계 크기 증가에 대한 충분 조건을 만족할 경우에 성립한다.

ABSTRACT

In the context of unconstraint numerical optimization, this paper investigates the global linear convergence of a simple probabilistic derivative-free optimization algorithm (DFO). The algorithm samples a candidate solution from a standard multivariate normal distribution scaled by a step-size and centered in the current solution. This solution is accepted if it has a better objective function value than the current one. Crucial to the algorithm is the adaptation of the step-size that is done in order to maintain a certain probability of success. The algorithm, already proposed in the 60's, is a generalization of the well-known Rechenberg's $(1+1)$ Evolution Strategy (ES) with one-fifth success rule which was also proposed by Devroye under the name compound random search or by Schumer and Steiglitz under the name step-size adaptive random search. In addition to be derivative-free, the algorithm is function-value-free: it exploits the objective function only through comparisons. It belongs to the class of comparison-based step-size adaptive randomized search (CB-SARS). For the convergence analysis, we follow the methodology developed in a companion paper for investigating linear convergence of CB-SARS: by exploiting invariance properties of the algorithm, we turn the study of global linear convergence on scaling-invariant functions into the study of the stability of an underlying normalized Markov chain (MC). We hence prove global linear convergence by studying the stability (irreducibility, recurrence, positivity, geometric ergodicity) of the normalized MC associated to the $(1+1)$-ES. More precisely, we prove that starting from any initial solution and any step-size, linear convergence with probability one and in expectation occurs. Our proof holds on unimodal functions that are the composite of strictly increasing functions by positively homogeneous functions with degree $α$ (assumed also to be continuously differentiable). This function class includes composite of norm functions but also non-quasi convex functions. Because of the composition by a strictly increasing function, it includes non continuous functions. We find that a sufficient condition for global linear convergence is the step-size increase on linear functions, a condition typically satisfied for standard parameter choices. While introduced more than 40 years ago, we provide here the first proof of global linear convergence for the $(1+1)$-ES with generalized one-fifth success rule and the first proof of linear convergence for a CB-SARS on such a class of functions that includes non-quasi convex and non-continuous functions. Our proof also holds on functions where linear convergence of some CB-SARS was previously proven, namely convex-quadratic functions (including the well-know sphere function).

연구 동기 및 목표

• 일반적인 단모양 함수 클래스에 대해 비교 기반 단계 크기 적응 랜덤화 검색 알고리즘의 전역 선형 수렴성을 확립하기 위해.
• (1+1) ES에 대한 일반화된 일분의 오차 성공 규칙을 적용한 선형 수렴성을 증명하는 오랫동안 미해결된 열린 문제를 해결하기 위해.
• 이전 연구가 볼록-이차 함수 및 구형 함수에 국한된 바에 비해, 비연속 및 비준연속 함수를 포함한 수렴 분석을 확장하기 위해.
• 비교 기반 알고리즘의 수렴 분석에 정규화된 마르코프 체인의 사용을 체계화하기 위해.
• 이전 분석이 단순한 클래스에 국한된 바에 비해, 알고리즘이 구형 함수 및 볼록-이차 함수와 같은 함수들에서도 선형 수렴을 유지함을 검증하기 위해.

제안 방법

• 알고리즘은 현재 해를 중심으로 하는 다변량 정규분포를 사용하며, 단계 크기를 비교 기반 성공률 제어 방식으로 조정한다.
• 단계 크기 조정은 일반화된 일분의 오차 성공 규칙을 따르며, 시간에 따라 성공 확률에 따라 σ를 조정한다.
• 수렴 분석은 불변성 성질을 활용하여 문제를 단위 구면 위의 정규화된 마르코프 체인(MC)의 안정성 문제로 환원한다.
• 정규화된 MC의 기약성, 재귀성, 양성, 기하적 에르고딕성을 분석하여 선형 수렴성을 증명한다.
• 수렴 속도는 정규화된 체인이 정적 분포로 빠르게 수렴하도록 보장하는 기하학적 드리프트 조건에 기반한다.
• 수렴 속도는 CR = −lnγ[(q+1)/q × PS − 1/q]로 유도되며, 여기서 PS는 점근적 성공 확률이다.

실험 결과

연구 질문

• RQ1 (1+1) ES가 일반화된 일분의 오차 성공 규칙을 적용할 때, 정도 α의 양의 동차 함수 위에서 전역 선형 수렴성을 달성하는가?
• RQ2 비준연속 및 비볼록 함수 위에서 비교 기반 알고리즘에 대해 선형 수렴성을 증명할 수 있는가?
• RQ3 수렴 속도는 초기 조건에 독립적이며 기하학적으로 빠른가?
• RQ4 단계 크기 조정 규칙과 선형 함수 위에서의 선형 수렴성 간의 관계는 무엇인가?
• RQ5 정규화된 마르코프 체인 프레임워크는 비교 기반 단계 크기 적응 랜덤화 검색(CB-SARS) 알고리즘의 선형 수렴성을 볼록-이차 함수를 초월해 엄밀히 증명하는 데 사용될 수 있는가?

주요 결과

• (1+1) ES가 일반화된 일분의 오차 성공 규칙을 적용할 때, 엄밀히 증가하는 함수와 정도 α의 양의 동차 함수로 구성된 단모양 함수 위에서 거의 확실한 수렴성과 기대 수렴성이 성립한다.
• 이 수렴 증명은 이전 결과보다 더 넓은 함수 클래스에 적용 가능하며, 비연속 및 비준연속 함수를 포함한다.
• 선형 수렴을 위한 충분 조건은 선형 함수에서 단계 크기가 증가하는 것이다. 이는 표준 매개변수 설정에 의해 만족된다.
• 수렴 속도는 CR = −lnγ[(q+1)/q × PS − 1/q]로 주어지며, 수렴이 발생할 경우 PS < 1/(q+1)이다.
• 알고리즘과 관련된 정규화된 마르코프 체인은 기하학적으로 에르고딕적이며, 이는 초기 조건과 무관하게 빠른 정적 분포 수렴을 보장한다.
• 분석 결과, CB-SARS는 구형 함수 및 볼록-이차 함수와 같은 함수들에서도 선형 수렴을 달성할 수 있음을 확인하였으며, 이는 이전 결과를 확장한다.