[논문 리뷰] Cumulative Step-size Adaptation on Linear Functions

Chotard, Alexandre, Auger, Anne외 1명|HAL (Le Centre pour la Communication Scientifique Directe)|2012. 12. 01.

Markov Chains and Monte Carlo Methods참고 문헌 11인용 수 4

한 줄 요약

이 논문은 마르코프 체인 이론을 사용하여 선형 함수 위에서 (1,λ)-CSA-ES를 분석하며, 누적 경로를 통한 단계 크기 조정이 λ ≥ 3 또는 λ = 2이면서 누적(즉, c < 1)인 경우 단계 크기의 기하급수적 발산을 유도함을 보여준다. 주요 기여는 차원이 증가함에 따라 단계 크기 증분의 신호 대 잡음 비율이 무시 가능하게 되는 조건을 보장하는 엄밀한 분산 분석이다. 특히 α > 1/3 인 경우 c = 1/n^α로 선택하면, 이 비율이 감소함을 증명한다. 이는 알고리즘의 안정성을 보장한다.

ABSTRACT

The CSA-ES is an Evolution Strategy with Cumulative Step size Adaptation, where the step size is adapted measuring the length of a so-called cumulative path. The cumulative path is a combination of the previous steps realized by the algorithm, where the importance of each step decreases with time. This article studies the CSA-ES on composites of strictly increasing functions with affine linear functions through the investigation of its underlying Markov chains. Rigorous results on the change and the variation of the step size are derived with and without cumulation. The step-size diverges geometrically fast in most cases. Furthermore, the influence of the cumulation parameter is studied.

연구 동기 및 목표

• 선형 함수 위에서 (1,λ)-CSA-ES의 단계 크기 조정의 장기적 행동을 이해하는 것.
• 누적 및 비누적 환경에서 로그 단계 크기 ln(σ_t)의 역학을 엄밀히 분석하는 것.
• 단계 크기 증분의 분산을 정량화하고, 단계 크기 조정의 신호 대 잡음 비율이 무시 가능해지는 조건을 규명하는 것.
• 고차원 공간에서 안정적이고 수렴 가능한 행동을 보장하기 위한 누적 파rameter c에 대한 이론적 조건을 수립하는 것.

제안 방법

• 로그 단계 크기와 누적 경로 길이 위에서 (1,λ)-CSA-ES를 마르코프 체인으로 모델링한다.
• 선택 과정에서 i.i.d. 표준 정규 분포의 편향을 가정할 때, ln(σ_t)/t의 극한 분포를 유도한다.
• 누적 경로 업데이트 규칙을 적용한다: p_{t+1} = (1−c)p_t + √(c(2−c)) ξ_t^*, 여기서 ξ_t^*는 최선로 선택된 탐색 벡터이다.
• ln(σ_{t+1}/σ_t)의 분산 분해를 적용하여, 경로 성분 [p_{t+1}]_1의 모멘트로 표현한다.
• 단계 크기 증분의 표준편차가 기대값에 비해 점 渐진적으로 어떻게 행동하는지 분석하며, 특히 차원 n → ∞ 일 때의 행동을 고려한다.
• 상대 분산의 척도가 어떻게 차원에 따라 변화하는지 분석하기 위해 c = 1/(1 + n^α)로 선택하고, 임계 α 값들을 식별한다.

실험 결과

연구 질문

• RQ1 선형 함수 위에서 (1,λ)-CSA-ES의 단계 크기는 기하급수적으로 빠르게 발산하는가?
• RQ2 누적 파rameter c는 단계 크기 조정의 안정성과 분산에 어떤 영향을 미치는가?
• RQ3 차원 n이 증가함에 따라 로그 단계 크기 증분의 분산은 어떻게 점 渐진적으로 행동하는가?
• RQ4 고차원에서 단계 크기 조정의 신호 대 잡음 비율이 0으로 수렴하는 c의 값은 무엇인가?
• RQ5 λ의 선택(특히 λ = 2 대비 λ ≥ 3)은 단계 크기의 장기적 행동에 어떤 영향을 미치는가?

주요 결과

• 대부분의 경우 단계 크기는 기하급수적으로 매우 빠르게 발산한다. 유일한 예외는 λ = 2 이면서 c = 1 인 경우로, 이 경우 로그 단계 크기는 랜덤 워크를 수행한다.
• λ ≥ 3 이거나 λ = 2 이면서 c < 1 이면, 로그 단계 크기는 거의 확실히 선형적으로 증가하므로 강한 발산을 나타낸다.
• c = 1/(1 + n^α) 일 때, 로그 단계 크기 증분의 분산은 √((n^{2α} + n)/n^{3α}) 배의 기대 증분에 비례한다.
• α > 1/3 이면, n → ∞ 일 때 단계 크기 증분의 상대 표준편차가 0으로 수렴하여 높은 안정성을 보장한다.
• 임계 값 α = 1/3 은 상대 표준편차가 일정한 값으로 수렴하는 임계점이며, α < 1/3 이면 상대 분산이 발산한다.
• c = 1/√n 이 안정적임이 확인되었으며, 이는 α = 1/2 > 1/3 이므로 고차원에서 상대 분산이 무시 가능하게 된다.