[논문 리뷰] Information-Geometric Optimization Algorithms: A Unifying Picture via Invariance Principles

Yann Ollivier, Ludovic Arnold외 2명|arXiv (Cornell University)|2011. 06. 19.

Metaheuristic Optimization Algorithms Research참고 문헌 99인용 수 200

한 줄 요약

이 논문은 정보기하 최적화(IGO)를 소개한다. IGO는 목적 함수의 시간에 따라 변하는 분위수 기반 변환에 대한 자연 경사상승을 통해 연속시간 및 이산 알고리즘을 유도하는 블랙박스 최적화를 위한 통합 프레임워크이다. 이 방법은 재매개변수화, 파rameter 변화, 목적 함수의 단조 증가 변환에 대해 최대한의 불변성을 확보하며, CMA-ES, PBIL, 교차 엔트로피 방법과 같은 기존 알고리즘을 자연스럽게 복원하고 통합한다. 또한 최적화 과정에서 다양성 손실를 최소화한다.

ABSTRACT

We present a canonical way to turn any smooth parametric family of probability distributions on an arbitrary search space $X$ into a continuous-time black-box optimization method on $X$, the \emph{information-geometric optimization} (IGO) method. Invariance as a design principle minimizes the number of arbitrary choices. The resulting \emph{IGO flow} conducts the natural gradient ascent of an adaptive, time-dependent, quantile-based transformation of the objective function. It makes no assumptions on the objective function to be optimized. The IGO method produces explicit IGO algorithms through time discretization. It naturally recovers versions of known algorithms and offers a systematic way to derive new ones. The cross-entropy method is recovered in a particular case, and can be extended into a smoothed, parametrization-independent maximum likelihood update (IGO-ML). For Gaussian distributions on $\mathbb{R}^d$, IGO is related to natural evolution strategies (NES) and recovers a version of the CMA-ES algorithm. For Bernoulli distributions on $\{0,1\}^d$, we recover the PBIL algorithm. From restricted Boltzmann machines, we obtain a novel algorithm for optimization on $\{0,1\}^d$. All these algorithms are unified under a single information-geometric optimization framework. Thanks to its intrinsic formulation, the IGO method achieves invariance under reparametrization of the search space $X$, under a change of parameters of the probability distributions, and under increasing transformations of the objective function. Theory strongly suggests that IGO algorithms have minimal loss in diversity during optimization, provided the initial diversity is high. First experiments using restricted Boltzmann machines confirm this insight. Thus IGO seems to provide, from information theory, an elegant way to spontaneously explore several valleys of a fitness landscape in a single run.

연구 동기 및 목표

• 임의의 설계 선택을 최소화하는 원칙적이고 불변성 있는 블랙박스 최적화 프레임워크를 개발하기 위해.
• 다양한 확률적 최적화 알고리즘을 하나의 정보기하 원리 아래 통합하기 위해.
• 검색 공간의 재매개변수화, 분포의 매개변수화, 목적 함수의 단조 증가 변환에 대해 불변성을 확보하기 위해.
• 최적화 과정에서 확률 분포의 변화를 최소화함으로써 다양성을 유지하는 알고리즘 유도를 위해.
• 적응형 분위수 기반 목적 함수 변환을 사용하는 자연 경사기반 최적화의 이론적 기반을 제공하기 위해.

제안 방법

• IGO 방법은 목적 함수의 시간에 따라 변하는 분위수 기반 변환에 대한 자연 경사상승에 의해 지배되는 연속시간 흐름으로 최적화를 공식화한다.
• 이 흐름은 검색 공간 X 위의 확률 분포 가족에서 유도되며, 현재 분포 하의 기대 목적 함수의 자연 경사가 업데이트를 이끈다.
• IGO 흐름의 시간 이산화를 통해 명시적 IGO 알고리즘을 도출하며, 업데이트 규칙은 분포 하의 로그우도에 대한 가중 경사에 기반한다.
• 목적 함수의 단조 증가 변환에 대한 불변성을 확보하기 위해 분위수 기반 가중치 체계를 사용한다.
• 분포 매개변수의 재매개변수화에 대한 불변성을 확보하기 위해 피셔 정보 계량을 사용하여 자연 경사를 정의한다.
• 이 프레임워크는 알려진 알고리즘을 자연스럽게 복원한다: 정규분포에 대해서는 CMA-ES와 xNES, 베르누이 분포에 대해서는 PBIL과 cGA, 그리고 제한된 볼츠만 기계에 대한 새로운 알고리즘.

실험 결과

연구 질문

• RQ1 불변성 원리를 설계 지침으로 사용하여 통합된 블랙박스 최적화 프레임워크를 어떻게 구성할 수 있는가?
• RQ2 단일 연속시간 최적화 흐름이 시간 이산화를 통해 CMA-ES와 교차 엔트로피 방법과 같은 기존 알고리즘을 복원할 수 있는가?
• RQ3 IGO 프레임워크는 최적화 과정에서 다양성을 얼마나 잘 유지하는가? 이는 시간에 따른 분포 변화 최소화와 어떻게 관련이 있는가?
• RQ4 분위수 기반 목적 함수 변환은 어떻게 목적 함수의 단조 증가 변환에 대해 불변성을 보장하는가?
• RQ5 IGO 알고리즘에서 다양성 손실를 최소화하는 이론적 근거는 무엇이며, 자연 경사 흐름과의 관계는 어떠한가?

주요 결과

• IGO 프레임워크는 검색 공간 X의 재매개변수화, 분포의 매개변수 변화, 목적 함수 f의 증가 변환에 대해 불변성을 확보한다.
• IGO 흐름은 목적 함수의 시간에 따라 변하는 분위수 기반 변환에 대한 자연 경사상승과 수학적으로 동치이며, 최대한의 불변성을 보장한다.
• 이 방법은 큰 시간 단계의 극한에서 교차 엔트로피 방법을 자연스럽게 복원하며, 이를 매개변수화에 의존하지 않는 최대우도 업데이트(IGO-ML)로 확장한다.
• ℝᵈ 상의 정규분포에 대해 IGO 프레임워크는 CMA-ES 알고리즘과 xNES의 한 형태를 복원하며, 광범위한 적용 가능성을 보여준다.
• {0,1}ᵈ 상의 베르누이 분포에 대해 IGO 방법은 PBIL과 cGA를 복원하며, 이산 및 연속 영역 간의 통합을 보여준다.
• 제한된 볼츠만 기계를 사용한 최초의 실험 결과는 IGO가 높은 다양성을 유지하고 단일 실행에서 다수의 적합도 골짜기를 동시에 탐색할 수 있음을 확인한다.