[논문 리뷰] Cumulative Step-size Adaptation on Linear Functions: Technical Report

Alexandre Chotard, Anne Auger외 1명|arXiv (Cornell University)|2012. 06. 06.

Metaheuristic Optimization Algorithms Research참고 문헌 13인용 수 6

한 줄 요약

이 논문은 선형 함수 위에서 (1,λ)-CSA-ES 알고리즘을 마르코프 체인 이론을 사용하여 분석하며, 누적 경로를 통한 단계 크기 적응이 λ ≥ 3 또는 λ = 2 이면서 누적(즉, c < 1)인 경우 σ의 기하학적 빠른 발산을 유도함을 보여준다. c = 1 이고 λ = 2인 경우, 단계 크기는 랜덤 워크를 수행한다. 연구는 로그 단계 크기 증분의 분산에 대한 정확한 표현을 유도하고, α > 1/3 인 c = 1/n^α 를 선택할 경우 신호 대 잡음비 수렴이 보장되어 고차원에서 알고리즘의 안정성을 보장함을 증명한다.

ABSTRACT

The CSA-ES is an Evolution Strategy with Cumulative Step size Adaptation, where the step size is adapted measuring the length of a so-called cumulative path. The cumulative path is a combination of the previous steps realized by the algorithm, where the importance of each step decreases with time. This article studies the CSA-ES on composites of strictly increasing with affine linear functions through the investigation of its underlying Markov chains. Rigorous results on the change and the variation of the step size are derived with and without cumulation. The step-size diverges geometrically fast in most cases. Furthermore, the influence of the cumulation parameter is studied.

연구 동기 및 목표

• 선형 함수에 대한 약간 증가하는 변환을 포함한 약선형 함수 위에서 누적 단계 크기 적응(CSA)의 거시적 행동을 엄밀히 분석하는 것.
• 누적(즉, c < 1)과 비누적(즉, c = 1) 조건 하에서 로그 단계 크기 ln(σ_t)의 장기적 역학을 조사하는 것.
• 로그 단계 크기 증분 ln(σ_{t+1}/σ_t)의 분산에 대한 정확한 표현을 유도하고, 차원 n 과 누적 매개변수 c 에 대한 의존성을 평가하는 것.
• 단계 크기 적응의 신호 대 잡음비가 무시 가능해지는 조건을 규명하여 고차원 공간에서 알고리즘의 안정성을 보장하는 것.
• 이론적 결과를 수치 시뮬레이션과 기저 마르코프 체인의 점근적 분석을 통해 검증하는 것.

제안 방법

• 선형 함수 f(x) = x₁ 위에서 (1,λ)-CSA-ES를 로그 단계 크기 ln(σ_t) 위의 마르코프 체인으로 모델링하고, 그 시간 진화를 분석한다.
• 단계 크기 σ_t 를 적응시키기 위해 누적 경로 p_{t+1} = (1−c)p_t + √[c(2−c)] ξ_t^* 를 사용하며, 여기서 ξ_t^* 는 최선으로 선택된 탐색 벡터이다.
• λ ≥ 3 이고 c ∈ (0,1] 인 경우 ln(σ_t)/t 의 극한 분포를 유도하여 σ_t 의 기하학적 발산을 증명한다.
• 선택 행동을 모델링하기 위해 표준 정규 분포의 순서 통계량(Ψ_{i:λ}) 을 사용한다.
• a = 1−c 의 거듭제곱에 대한 다중 합을 사용하여 ln(σ_{t+1}/σ_t) 의 분산에 대한 정확한 닫힌 형태 표현을 도출한다.
• t → ∞ 와 n → ∞ 인 점근적 행동을 분석하여, 안정성에 대한 c = 1/n^α 조건을 이끌어낸다.

실험 결과

연구 질문

• RQ1 선형 함수 위에서 (1,λ)-CSA-ES의 단계 크기 σ_t 는 시간이 지남에 따라 어떻게 변화하는가? 특히 누적 여부에 따라 어떻게 달라지는가?
• RQ2 t → ∞ 인 경우 ln(σ_t)/t 의 극한 분포는 무엇이며, λ 와 c 에 따라 어떻게 달라지는가?
• RQ3 로그 단계 크기 증분 ln(σ_{t+1}/σ_t) 의 정확한 표현은 무엇이며, 차원 n 과 누적 매개변수 c 에 따라 어떻게 척도화되는가?
• RQ4 c = 1/n^α 인 경우, ln(σ_{t+1}/σ_t) 의 상대 표준편차가 n → ∞ 일 때 0으로 수렴하는 조건은 무엇인가?
• RQ5 (1,2)-CSA-ES에서 c = 1 이면 왜 ln(σ_t) 위에서 랜덤 워크가 발생하는가? 그리고 누적은 이 불안정성을 어떻게 방지하는가?

주요 결과

• λ ≥ 3 이고 임의의 c ∈ (0,1] 인 경우, 거의 확실히 기하학적으로 빠르게 발산하며, lim_{t→∞} ln(σ_t)/t 가 양수 상수로 수렴한다.
• c = 1 (누적 없음) 이고 λ = 2 인 경우, 단계 크기는 ln(σ_t) 위에서 랜덤 워크를 수행하며, 이는 (1,2)-σ SA-ES 와 유사한 대칭 선택 행동 때문이다.
• c = 1/(1 + n^α) 이고 α > 0 인 경우, ln(σ_{t+1}/σ_t) 의 분산은 (n^{2α} + n)/n^{3α} 비례하는 항으로 점근적으로 유계이다.
• α > 1/3 인 경우, ln(σ_{t+1}/σ_t) 의 상대 표준편차는 n → ∞ 일 때 0으로 수렴하며, 이는 강력한 신호 대 잡음비와 알고리즘의 안정성을 보장한다.
• 임계 임계점은 α = 1/3 이다: α < 1/3 이면 상대 표준편차는 n^{(1−3α)/2} 로 발산하여 불안정성을 나타낸다.
• c = 1/√n (즉, α = 1/2) 의 선택은 안정적이며, 상대 표준편차가 n^{−1/4} 로 감소함을 확인하여 고차원 최적화에서의 강건성을 확인한다.