[논문 리뷰] Injecting External Solutions Into CMA-ES

Nikolaus Hansen|arXiv (Cornell University)|2011. 10. 19.

Metaheuristic Optimization Algorithms Research참고 문헌 7인용 수 11

한 줄 요약

이 논문은 외부 후보 해(예: 기울기 단계, 복구된 비가능 해, 대체 모델 출력 등)를 공분산 행렬 적응 진화 전략(CMA-ES)에 통합하는 간단하면서도 효과적인 방법을 제안한다. 알고리즘의 안정성을 해치지 않으면서도, 큰 단계를 클리핑 메커니즘을 통해 견고하게 재정규화함으로써, 구간 함수에서 최대 2배, Rosenbrock 함수에서 거의 n배의 수렴 속도 향상을 달성한다. 이는 열악한 품질의 통합에도 불구하고 안정성을 유지한다.

ABSTRACT

This report considers how to inject external candidate solutions into the CMA-ES algorithm. The injected solutions might stem from a gradient or a Newton step, a surrogate model optimizer or any other oracle or search mechanism. They can also be the result of a repair mechanism, for example to render infeasible solutions feasible. Only small modifications to the CMA-ES are necessary to turn injection into a reliable and effective method: too long steps need to be tightly renormalized. The main objective of this report is to reveal this simple mechanism. Depending on the source of the injected solutions, interesting variants of CMA-ES arise. When the best-ever solution is always (re-)injected, an elitist variant of CMA-ES with weighted multi-recombination arises. When \emph{all} solutions are injected from an \emph{external} source, the resulting algorithm might be viewed as \emph{adaptive encoding} with step-size control. In first experiments, injected solutions of very good quality lead to a convergence speed twice as fast as on the (simple) sphere function without injection. This means that we observe an impressive speed-up on otherwise difficult to solve functions. Single bad injected solutions on the other hand do no significant harm.

연구 동기 및 목표

• 외부 후보 해를 알고리즘의 안정성을 해치지 않도록 CMA-ES에 통합하는 것.
• 특히 외부 원천에서 온 큰 단계에 취약한 CMA-ES의 취약성을 해결하는 것.
• 기울기, 국소 탐색, 수리 기법, 또는 대체 모델과 같은 다양한 원천에서 온 해를 통합하기 위한 최소한이면서 신뢰할 수 있는 메커니즘 개발.
• 통합을 통해 엘리트형 또는 적응형 인코딩 유사 알고리즘과 같은 새로운 CMA-ES 변종의 탄생을 탐색하는 것.
• 기본 테스트 함수에서 고품질 대비 저품질 해를 통합했을 때의 성능 영향 평가

제안 방법

• 원래 CMA-ES 분포에서 정의된 범위 내에 단계 크기가 유지되도록, 정규화된 탐색 방향에 대해 클리핑 함수 α_clip(c_y, ||C^(-1/2) y_i||)를 적용하는 클리핑 메커니즘 도입.
• 적용 가능한 경우 표준 성공 해의 가중 평균 합을 대체하여, 통합된 평균 방향을 평균 갱신 규칙 Δm에 통합함.
• 최고 해가 통합된 경우에도 동일한 클리핑을 평균 갱신 벡터 Δm에 적용하여 단계 크기 제어 및 안정성 유지.
• 완전한 단계 크기 제어 및 공분산 행렬 적응을 유지함으로써, 통합 해가 존재하더라도 알고리즘이 적응 가능성을 유지함.
• 변수의 동결 또는 제약 조건이 있을 경우 수정된 마할라노비스 거리 노름을 사용하여 단계 크기 적응을 수행하고, 자유도를 적절히 조정함.
• 통합 해를 동일한 분포에서 샘플링된 것처럼 취급하는 견고한 정규화 전략을 적용하여, 큰 단계로 인한 발산을 방지함.

실험 결과

연구 질문

• RQ1 기울기 방향 또는 복구된 비가능 점과 같은 외부 후보 해를 성능 저하 없이 CMA-ES에 신뢰성 있게 통합할 수 있는가?
• RQ2 임의의 원천에서 온 해를 통합할 때 안정성을 확보하기 위해 CMA-ES에 필요한 최소한의 수정은 무엇인가?
• RQ3 고품질 해를 통합했을 때, 구간 함수나 Rosenbrock 함수와 같은 표준 기준 함수에서 수렴 속도에 어떤 영향을 미치는가?
• RQ4 일부 열악한(나쁜) 해를 통합했을 때 CMA-ES의 전체 성능에 어떤 영향을 미치는가?
• RQ5 이름의 메커니즘을 통해 간단한 파rameter 조정으로 엘리트형 또는 적응형 인코딩 유사 알고리즘과 같은 새로운 CMA-ES 변종을 도입할 수 있는가?

주요 결과

• 고품질 해를 통합하면 기본 파rameter를 그대로 사용하더라도, 구간 함수에서 약 2배의 수렴 속도 향상을 기록한다.
• Rosenbrock 함수에서는 예상을 초월한 속도 향상을 기록하며, 거의 n배의 성능 향상(10차원에서 600 대비 5000 평가)을 달성하여 거의 최적의 성능 향상을 보인다.
• 이 메커니즘은 안정성이 뛰어나며, 단 한 개의 나쁜 해를 통합해도 성능 저하가 거의 없으며, 효과적 인구 수의 약간 감소 수준에 머무른다.
• 클리핑 메커니즘이 큰 단계를 효과적으로 제어하여, 통합 해가 내부 샘플링 분포에서 크게 벗어나도 알고리즘의 붕괴를 방지한다.
• 최고의 해를 반복적으로 통합할 경우, 가중 다중 재결합을 갖는 엘리트형 CMA-ES처럼 행동하지만, 다중 최적점이 존재하는 환경에서는 성능이 약간 저하될 수 있다.
• 이 방법을 통해 국소 최적화기나 대체 모델과 같은 외부 솔버를 메믹 CMA-ES 프레임워크의 구성 요소로 활용할 수 있어, 전역 탐색 효율성이 향상된다.