[논문 리뷰] A Computationally Efficient Limited Memory CMA-ES for Large Scale Optimization

Ilya Loshchilov|arXiv (Cornell University)|2014. 04. 21.

Advanced Multi-Objective Optimization Algorithms참고 문헌 21인용 수 9

한 줄 요약

이 논문은 대규모 연속 최적화 문제를 위한 계산 효율적인 비도함수 최적화 알고리즘인 제한된 메모리 CMA-ES(LM-CMA-ES)를 제안한다. $ m \ll n $ 개의 방향 벡터를 사용하여 코レス키 분해를 통해 공분산 행렬을 재구성함으로써 시간 및 메모리 복잡도를 $ O(mn) $ 으로 감소시켜, 최대 100만 차원까지의 문제를 효율적으로 최적화하면서도 비분리성, 고상관성 함수에서의 성능을 유지한다.

ABSTRACT

We propose a computationally efficient limited memory Covariance Matrix Adaptation Evolution Strategy for large scale optimization, which we call the LM-CMA-ES. The LM-CMA-ES is a stochastic, derivative-free algorithm for numerical optimization of non-linear, non-convex optimization problems in continuous domain. Inspired by the limited memory BFGS method of Liu and Nocedal (1989), the LM-CMA-ES samples candidate solutions according to a covariance matrix reproduced from $m$ direction vectors selected during the optimization process. The decomposition of the covariance matrix into Cholesky factors allows to reduce the time and memory complexity of the sampling to $O(mn)$, where $n$ is the number of decision variables. When $n$ is large (e.g., $n$ > 1000), even relatively small values of $m$ (e.g., $m=20,30$) are sufficient to efficiently solve fully non-separable problems and to reduce the overall run-time.

연구 동기 및 목표

• 표준 CMA-ES가 대규모 최적화에서 높은 계산 및 메모리 비용을 유발하는 문제를 해결하기 위해, 특히 $ n > 1000 $ 인 경우에 대비한다.
• 공분산 행렬 갱신 및 샘플링 복잡도를 감소시켜 비분리성, 고차원 문제의 효율적 최적화를 가능하게 한다.
• 기울기 기반 최적화에서 유래한 제한된 메모리 BFGS 원리를 비도함수 진화 전략에 적용한다.
• 전체 $ n \times n $ 공분산 행렬을 저장하지 않으면서도 변수 간 의존성을 학습할 수 있는 확장 가능한 CMA-ES의 대안을 개발한다.

제안 방법

• LM-CMA-ES는 이전 반복에서 얻은 $ m $ 개의 방향 벡터를 유지하여 공분산 행렬의 코レス키 인자를 재구성한다.
• 공분산 행렬을 표현하기 위해 코レス키 분해를 사용함으로써 샘플링 및 갱신에 대해 $ O(mn) $ 의 시간 및 메모리 복잡도를 확보한다.
• 알고리즘은 평균, 스텝 사이즈 및 재구성된 코レス키 인자를 기반으로 하는 다변량 정규분포를 사용하여 새로운 후보 해를 샘플링한다.
• 인구 성공 규칙(population success rule)을 사용하여 스텝 사이즈를 적응시키고 방향 벡터를 갱신함으로써 전체 공분산 행렬 갱신을 대체한다.
• 이 방법은 L-BFGS에서 유래한 제한된 메모리 원리를 활용하여 전체 헤시안 행렬 근사치 대신 $ m $ 개의 벡터만 저장한다.
• 랭크-$ m $ 갱신 공식을 사용하여 코レス키 인자 및 그 역행렬을 점진적으로 갱신함으로써 전체 행렬 연산을 피한다.

실험 결과

연구 질문

• RQ1 제한된 메모리 접근법이 대규모 문제에서 변수 간 의존성을 학습할 능력을 유지하면서도 CMA-ES의 시간 및 메모리 복잡도를 감소시킬 수 있는가?
• RQ2 LM-CMA-ES는 비분리성, 고차원 문제에서 CMA-ES 및 기타 대규모 변종인 sep-CMA-ES와 L-CMA-ES와 비교해 성능가능한가?
• RQ3 대규모 비분리성 문제에서 양호한 성능을 달성하기 위해 필요한 최소 $ m $ 값은 얼마인가?
• RQ4 제한된 메모리 원리에 따라 $ m \ll n $ 개의 방향 벡터만 사용할 때, LM-CMA-ES는 CMA-ES의 핵심 성질인 회전 불변성을 유지하는가?
• RQ5 대규모 환경에서 전체 공분산 행렬 갱신을 대체하기 위해 인구 성공 규칙을 효과적으로 사용할 수 있는가?

주요 결과

• LM-CMA-ES는 시간 복잡도 $ O(mn) $ 와 메모리 복잡도 $ O(mn) $ 를 달성하여 표준 CMA-ES의 $ O(n^2) $ 비용을 크게 감소시킨다.
• 표본 수 $ n = 2000 $ 인 경우, $ m = 19 $ 로 설정된 LM-CMA-ES는 비분리 문제를 약 125초, $ 5.3 \times 10^6 $ 번의 함수 평가 후에 해결하였으며, 표준 CMA-ES 대비 32~48배 빠른 속도를 기록했다.
• 10만 차원의 분리형 타원 문제에서 sep-CMA-ES는 첫 번째 세대 안에 발산하였지만, LM-CMA-ES는 성능 향상을 성공적으로 달성했다.
• 100만 차원 문제에서 LM-CMA-ES는 표준 컴퓨터에서 함수 평가당 약 0.1초의 계산 비용으로 문제를 해결하였다.
• 알고리즘은 회전 불변성을 유지하여 고차원 비분리성 문제와 분리성 문제 모두에서 일관된 성능을 보였다.
• 비분리성 문제에서 LM-CMA-ES의 성능는 $ m $ 가 작을 때조차도 CMA-ES와 유사한 수준이었으며(예: $ m = 20,30 $), 효과적인 탐색을 위해 몇 개의 주요 방향만으로도 충분함을 시사한다.