[논문 리뷰] On Proving Linear Convergence of Comparison-based Step-size Adaptive Randomized Search on Scaling-Invariant Functions via Stability of Markov Chains

Anne Auger, Nikolaus Hansen|arXiv (Cornell University)|2013. 10. 27.

Metaheuristic Optimization Algorithms Research참고 문헌 31인용 수 4

한 줄 요약

이 논문은 비교 기반 단계 크기 적응형 랜덤화 검색(CB-SARS)이 척도 불변 함수에 대해 선형 수렴성을 확립한다. 이는 기반의 마르코프 체인의 안정성을 증명함으로써 이루어지며, 이는 고전적이고 현대적인 비미분 최적화 알고리즘—예를 들어 CMA-ES, xNES, C-RS—을 통합하고 분석하는 데 기여한다. 이는 불변성 성질을 활용하여 척도 불변성 하에서 안정한 마르코프 체인이 선형 수렴성을 암시한다는 점을 보여준다.

ABSTRACT

Abstract. In the context of numerical optimization, this paper develops a methodology to ana-lyze the linear convergence of comparison-based step-size adaptive randomized search (CB-SARS), a class of probabilistic derivative-free optimization algorithms where the function is solely used through comparisons of candidate solutions. Various algorithms are included in the class of CB-SARS algo-rithms. On the one hand, a few methods introduced already in the 60’s: the step-size adaptive random search by Schumer and Steiglitz, the compound random search by Devroye and simplified versions of Matyas ’ random optimization algorithm or Kjellstrom and Taxen Gaussian adaptation. On the other hand, it includes simplified versions of several recent algorithms: the covariance-matrix-adaptation evolution strategy algorithm (CMA-ES), the exponential natural evolution strategy (xNES), or the cross entropy method. CB-SARS algorithms typically exhibit several invariances. First of all, invariance to composing the objective function with a strictly monotonic transformation which is a direct consequence of the fact that the algorithms only use comparisons. Second, scale invariance that translates the fact that the algorithm has no intrinsic absolute notion of scale. The algorithms are investigated on scaling-invariant functions defined as functions that preserve

연구 동기 및 목표

• 비교 기반 단계 크기 적응형 랜덤화 검색(CB-SARS) 알고리즘의 선형 수렴성을 증명하기 위한 일반적인 이론적 프레임워크를 수립하는 것.
• 단조성 변환과 척도 변화에 대해 불변인 척도 불변 함수에서 CB-SARS의 수렴 행동을 분석하는 것.
• 불변성 성질을 활용하여 고전적이고 현대적인 비미분 최적화 알고리즘을 동일한 이론적 틀 아래 통합하는 것.
• 알고리즘에 의해 유도된 마르코프 체인이 안정적이라는 점이 척도 불변 함수에서 선형 수렴성을 암시한다는 것을 보여주는 것.
• 확률적 및 스토크라스틱 안정성 분석을 통해 CMA-ES, xNES, C-RS와 같은 알고리즘의 수렴성을 이해하기 위한 엄밀한 기초를 제공하는 것.

제안 방법

• 후보 해의 비교 결과에 기반해 단계 크기와 검색 분포를 적응시키는 방식으로 CB-SARS를 마르코프 과정으로 공식화하는 것.
• 검색 공간의 양의 척도 변환과 목적 함수의 단조성 변환에 대해 불변인 함수를 척도 불변 함수로 정의하는 것.
• 알고리즘의 동역학이 척도 변화와 단조성 변환에 대해 불변임을 입증하여, 불변성 기반 분석을 가능하게 하는 것.
• 스토크라스틱 과정 이론과 마르코프 체인 이론의 도구를 사용해, 알고리즘의 진화를 지배하는 마르코프 체인이 안정적이라는 점이 선형 수렴성을 암시한다는 것을 증명하는 것.
• CMA-ES, xNES, C-RS와 같은 특정 알고리즘에 안정성 기준을 적용하기 위해, 그들의 업데이트 규칙이 안정한 마르코프 체인에 필요한 조건을 만족하는지 확인하는 것.
• 절대 목적 함수 값에 대한 의존성을 제거하고 상대적 성능 순위에 초점을 맞추기 위해 비교 기반 적응을 사용하는 것.

실험 결과

연구 질문

• RQ1 비교 기반 단계 크기 적응형 랜덤화 검색 알고리즘이 척도 불변 함수에서 선형 수렴성을 보일 수 있는 조건는 무엇인가?
• RQ2 기반 마르코프 체인의 안정성이 CB-SARS 알고리즘의 선형 수렴성을 어떻게 증명하는 데 사용될 수 있는가?
• RQ3 CMA-ES나 xNES와 같은 고전적이고 현대적인 비미분 최적화 알고리즘들이 얼마나 넓은 이론적 수렴 프레임워크에 포함될 수 있는가?
• RQ4 특히 척도 불변성과 단조성 변환 불변성과 같은 불변성이 통합된 수렴 분석을 가능하게 하는 데 어떤 역할을 하는가?
• RQ5 오직 비교에 의존하는 알고리즘의 수렴성을 그들의 확률적 과정의 안정성 분석을 통해 엄밀하게 입증할 수 있는가?

주요 결과

• 척도 불변 함수에서 CB-SARS 알고리즘의 선형 수렴성이 관련 마르코프 체인의 안정성에 기반해 증명되었다.
• 분석은 CMA-ES, xNES, C-RS 등 다양한 알고리즘을 하나의 이론적 틀 아래 통합한다.
• 척도 불변성과 단조성 변환 불변성과 같은 불변성 성질은 안정성 기반 수렴 증명을 가능하게 하는 데 핵심적인 역할을 한다.
• 알고리즘에 의해 유도된 마르코프 체인이 안정적이라면, 척도 불변 함수에서 선형 수렴이 보장된다는 것이 이 방법으로 입증되었다.
• 이 프레임워크는 1960년대의 고전적 알고리즘부터 현대의 최첨단 방법에 이르기까지 넓은 이론적 적용 가능성을 보여준다.
• 결과적으로 비교 기반 적응 검색의 경험적 성공을 이해하기 위한 엄밀한 기초를 제공한다.