[논문 리뷰] Theoretical foundation for CMA-ES from information geometric perspective

Youhei Akimoto, Yuichi Nagata외 2명|arXiv (Cornell University)|2012. 06. 04.

Face and Expression Recognition참고 문헌 21인용 수 4

한 줄 요약

이 논문은 정보 기하학을 사용하여 공분산 행렬 적응 진화 전략(CMA-ES)의 이론적 기반을 수립하며, 매개변수 갱신이 기대 적합도를 최대화하기 위한 자연 경사 학습과 동치임을 보여준다. 핵심 결과는 CMA-ES가 편향 정보 행렬의 역행렬을 명시적으로 계산하지 않더라도 자연 경사 상승을 암묵적으로 수행한다는 점이며, 이는 기본 학습률의 타당성을 입증하고 일반화된 기대 최대화 프레임워크와의 연결고리를 제공한다.

ABSTRACT

This paper explores the theoretical basis of the covariance matrix adaptation evolution strategy (CMA-ES) from the information geometry viewpoint. To establish a theoretical foundation for the CMA-ES, we focus on a geometric structure of a Riemannian manifold of probability distributions equipped with the Fisher metric. We define a function on the manifold which is the expectation of fitness over the sampling distribution, and regard the goal of update of the parameters of sampling distribution in the CMA-ES as maximization of the expected fitness. We investigate the steepest ascent learning for the expected fitness maximization, where the steepest ascent direction is given by the natural gradient, which is the product of the inverse of the Fisher information matrix and the conventional gradient of the function. Our first result is that we can obtain under some types of parameterization of multivariate normal distribution the natural gradient of the expected fitness without the need for inversion of the Fisher information matrix. We find that the update of the distribution parameters in the CMA-ES is the same as natural gradient learning for expected fitness maximization. Our second result is that we derive the range of learning rates such that a step in the direction of the exact natural gradient improves the parameters in the expected fitness. We see from the close relation between the CMA-ES and natural gradient learning that the default setting of learning rates in the CMA-ES seems suitable in terms of monotone improvement in expected fitness. Then, we discuss the relation to the expectation-maximization framework and provide an information geometric interpretation of the CMA-ES.

연구 동기 및 목표

• 정보 기하학을 사용하여 CMA-ES 알고리즘에 대한 이론적 정당성을 제공하는 것.
• 다변량 정규 분포의 리만 다양체 위에서 CMA-ES와 자연 경사 학습 간의 관계를 조사하는 것.
• CMA-ES의 기본 학습률이 기대 적합도 향상에 있어 단조롭게 개선되도록 보장하는 이유를 설명하는 것.
• 정보 기하학적 시각에서 CMA-ES를 일반화된 기대 최대화(GEM) 알고리즘으로 해석하는 것.
• CMA-ES와 자연 경사 방법 간의 연결고리를 매개변수 갱신 역학 측면에서 수립하는 것.

제안 방법

• 저자는 샘플링 분포를 피셔 메트릭이 부여된 리만 다양체 위의 다변량 정규 분포로 모델링한다.
• 그들은 이 다양체 위의 함수로 기대 적합도를 정의하고, 자연 경사의 기반으로서 편향 정보 행렬의 역행렬과 일반 기울기의 곱인 기울기 상승 방향을 분석한다.
• 특정 다변량 정규 분포의 매개변수화 하에서, 편향 정보 행렬의 역행렬을 명시적으로 계산하지 않고도 기대 적합도의 자연 경사를 계산할 수 있다.
• CMA-ES의 매개변수 갱신 규칙이 표본 기반의 자연 경사 추정을 사용한 자연 경사 학습과 수학적으로 동치임을 보여준다.
• 정확한 자연 경사 방향을 따라갈 경우 기대 적합도 향상에 대해 단조롭게 개선이 보장되는 학습률의 범위를 유도한다.
• 저자는 CMA-ES를 기대 최대화(EM) 프레임워크와 비교하고, KL 발산과 적합도 향상 항을 모두 고려하는 일반화된 EM(GEM) 알고리즘으로 해석한다.

실험 결과

연구 질문

• RQ1 CMA-ES의 매개변수 갱신 규칙은 다변량 정규 분포의 다양체 위에서 자연 경사 학습과 어떻게 관련이 있는가?
• RQ2 특정 매개변수화 하에서 편향 정보 행렬의 역행렬을 명시적으로 계산하지 않고도 기대 적합도의 자연 경사를 계산할 수 있는가?
• RQ3 정확한 자연 경사 방향을 따라갈 경우 기대 적합도 향상에 대해 단조롭게 개선이 보장되는 학습률의 범위는 무엇인가?
• RQ4 정보 기하학적 구조와 수렴 성질 측면에서 CMA-ES는 EM 및 GEM 프레임워크와 어떻게 비교될 수 있는가?
• RQ5 적합도 가중 샘플링으로 정의된 목표 분포와 관련하여 CMA-ES의 정보 기하학적 해석은 무엇인가?

주요 결과

• CMA-ES의 매개변수 갱신 규칙은 샘플링 분포 하에서 기대 적합도를 최대화하기 위한 자연 경사 학습과 수학적으로 동치이다.
• 특정 다변량 정규 분포의 매개변수화 하에서, 편향 정보 행렬의 역행렬을 명시적으로 계산하지 않고도 기대 적합도의 자연 경사를 표본으로부터 직접 추정할 수 있다.
• CMA-ES에서 사용하는 기본 학습률은 정확한 자연 경사 방향을 따라갈 경우 기대 적합도 향상에 대해 단조롭게 개선이 보장되는 범위에 속함을 입증한다.
• CMA-ES는 표준 EM이 한 가지 성분만 최대화하는 데 반해, 목표 분포로의 KL 발산과 기대 적합도 향상 양측을 모두 개선하는 일반화된 EM(GEM) 알고리즘으로 해석될 수 있다.
• 정보 기하학적 시각은 CMA-ES가 적합도 향상에서 두 항을 균형 잡는다는 점을 드러내며, 즉 샘플링 분포의 변화와 적합도 가중 목표 분포의 변화를 동시에 고려함으로써 표준 EM보다 더 강건한 갱신을 제공한다.
• 자연 경사 수식은 CMA-ES에 체계적인 기반을 제공하며, 향후 연구에서 수렴 이론의 향상과 더 효율적인 매개변수 갱신 방식 개발에 기여할 잠재력을 시사한다.