[논문 리뷰] Drift Theory in Continuous Search Spaces: Expected Hitting Time of the (1+1)-ES with 1/5 Success Rule

Youhei Akimoto, Anne Auger외 1명|arXiv (Cornell University)|2018. 02. 09.

Optimization and Search Problems참고 문헌 12인용 수 7

한 줄 요약

이 논문은 연속 최적화를 위한 새로운 드리프트 분석 프레임워크를 제안하며, 구구의 구함수에서 (1+1)-ES에 1/5 성공 규칙을 적용한다. 이는 목표 적합도 수준 $\epsilon$ 에 도달하는 기대 도달 시간에 대한 최초의 비점근적 경계를 수립하고, 수렴 속도가 $\Theta(1/d)$ 의 의존성과 함께 선형 수렴을 증명함으로써, 연속 영역에서 드리프트 이론의 강력함을 보여준다.

ABSTRACT

This paper explores the use of the standard approach for proving runtime bounds in discrete domains---often referred to as drift analysis---in the context of optimization on a continuous domain. Using this framework we analyze the (1+1) Evolution Strategy with one-fifth success rule on the sphere function. To deal with potential functions that are not lower-bounded, we formulate novel drift theorems. We then use the theorems to prove bounds on the expected hitting time to reach a certain target fitness in finite dimension $d$. The bounds are akin to linear convergence. We then study the dependency of the different terms on $d$ proving a convergence rate dependency of $Θ(1/d)$. Our results constitute the first non-asymptotic analysis for the algorithm considered as well as the first explicit application of drift analysis to a randomized search heuristic with continuous domain.

연구 동기 및 목표

• 잠재 함수가 아래로 유계가 아닐 수 있는 연속 최적화 문제로 이산 영역의 드리프트 분석 기법을 확장하기 위해.
• 유한 차원 연속 공간에서 구함수에서 (1+1)-ES에 1/5 성공 규칙을 적용하여 분석하기 위해.
• 목표 적합도 수준 $\epsilon$ 에 도달하는 데 필요한 기대 도달 시간에 대한 비점근적 경계를 수립하기 위해.
• 수렴 속도가 차원 $d$ 에 따라 어떻게 영향을 받는지 정량화하여 $\Theta(1/d)$ 스케일링을 보여주기 위해.
• 랜덤화된 검색 히우리스틱을 연속 영역에 적용한 최초의 명시적 응용을 제공하기 위해.

제안 방법

• 잠재 함수가 유계가 아닐 수 있는 연속 영역에서의 새로운 드리프트 정리들을 제안하여, 잠재 값이 발산할 수 있는 알고리즘의 분석을 가능하게 한다.
• 최적해에 도달하는 데의 진전을 추적하기 위해 평균 벡터의 노름에 기반한 잠재 함수 $V(\theta_t) = \log\|m_t\|$ 를 정의한다.
• 잠재 함수의 기대 변화에 대한 하한 $L$ 과 상한 $U$ 를 갖는 드리프트 조건을 수립하고, $B \in \Theta(1/d)$ 를 보여준다.
• 드리프트 정리를 사용하여 기대 도달 시간 $\mathbb{E}[T_\epsilon]$ 의 상한과 하한을 유도한다. 여기서 $T_\epsilon$ 는 $\|m_t\| \leq \epsilon$ 에 도달하는 시간을 의미한다.
• 월리스 적분과 상관 불등식을 활용한 기하학적 및 확률적 추론을 통해 로그-노름의 드리프트를 경계한다.
• 드리프트 정리를 (1+1)-ES의 동역학에 적용하여, 기대 도달 시간이 $\Theta\big((\log\|m_0\| - \log\epsilon) \cdot d\big)$ 라는 것을 증명한다.

실험 결과

연구 질문

• RQ1 드리프트 분석은 이산 영역에서 연속 검색 공간으로 성공적으로 확장될 수 있는가, 특히 적응형 진화 알고리즘에 대해?
• RQ2 (1+1)-ES가 구함수에서 1/5 성공 규칙을 적용할 경우, 목표 적합도 수준에 도달하는 데 필요한 기대 도달 시간에 대한 비점근적 경계는 무엇인가?
• RQ3 유한 차원 연속 공간에서 (1+1)-ES의 수렴 속도는 차원 $d$ 에 따라 어떻게 달라지는가?
• RQ4 최적해에 접근함에 따라 $-\infty$ 로 발산할 수 있는 무한한 잠재 함수를 다룰 수 있는 새로운 드리프트 정리를 어떻게 제안할 수 있는가?
• RQ5 유도된 경계의 날카움은 차원 $d$ 와 알고리즘의 파라미터에 따라 어떻게 평가될 수 있는가?

주요 결과

• 논문은 연속 영역에서 (1+1)-ES에 1/5 성공 규칙을 적용한 최초의 비점근적 실행 시간 경계를 수립한다.
• 목표 적합도 $\epsilon$ 에 도달하는 데 필요한 기대 도달 시간은 $\mathbb{E}[T_\epsilon] \in \Theta\big((\log\|m_0\| - \log\epsilon) \cdot d\big)$ 로 경계되며, 이는 $\Theta(1/d)$ 의 속도 의존성과 함께 선형 수렴을 보여준다.
• 잠재 함수 $V(\theta_t) = \log\|m_t\|$ 의 드리프트 $B$ 는 하한 $L$ 과 상한 $U$ 사이에 있으며, 둘 다 $\Theta(1/d)$ 에 속해 있어 수렴 속도의 $1/d$ 스케일링을 확인한다.
• 드리프트의 하한 $L$ 은 단위 스텝 사이즈의 컴act 구간에서의 최소 성공 확률로부터 유도되며, 모든 $d$ 에 대해 $L > 0$ 임을 보장한다.
• 상한 $U$ 는 $d \to \infty$ 로 갈 때 성공 확률의 극한을 분석하여 $\Theta(1/d)$ 에 속한다는 것을 보여주며, 이는 양수의 상수로 수렴한다.
• 분석은 알고리즘이 차원에 대해 반비례하게 스케일링되는 속도로 선형 수렴을 달성함을 확인하며, 실무에서의 경험적 관측과 일치한다.