[论文解读] Information-Geometric Optimization Algorithms: A Unifying Picture via Invariance Principles

Yann Ollivier, Ludovic Arnold+2 more|arXiv (Cornell University)|Jun 19, 2011

Metaheuristic Optimization Algorithms Research参考文献 99被引用 200

一句话总结

本文提出了信息几何优化（IGO），一种统一的黑箱优化框架，利用不变性原理通过目标函数的时间依赖、分位数变换的自然梯度上升，推导出连续时间和离散算法。该方法在目标函数重参数化、参数变换和单调变换下实现最大不变性，自然恢复并统一了已知算法如CMA-ES、PBIL和交叉熵方法，同时在优化过程中保持最小的多样性损失。

ABSTRACT

We present a canonical way to turn any smooth parametric family of probability distributions on an arbitrary search space $X$ into a continuous-time black-box optimization method on $X$, the \emph{information-geometric optimization} (IGO) method. Invariance as a design principle minimizes the number of arbitrary choices. The resulting \emph{IGO flow} conducts the natural gradient ascent of an adaptive, time-dependent, quantile-based transformation of the objective function. It makes no assumptions on the objective function to be optimized. The IGO method produces explicit IGO algorithms through time discretization. It naturally recovers versions of known algorithms and offers a systematic way to derive new ones. The cross-entropy method is recovered in a particular case, and can be extended into a smoothed, parametrization-independent maximum likelihood update (IGO-ML). For Gaussian distributions on $\mathbb{R}^d$, IGO is related to natural evolution strategies (NES) and recovers a version of the CMA-ES algorithm. For Bernoulli distributions on $\{0,1\}^d$, we recover the PBIL algorithm. From restricted Boltzmann machines, we obtain a novel algorithm for optimization on $\{0,1\}^d$. All these algorithms are unified under a single information-geometric optimization framework. Thanks to its intrinsic formulation, the IGO method achieves invariance under reparametrization of the search space $X$, under a change of parameters of the probability distributions, and under increasing transformations of the objective function. Theory strongly suggests that IGO algorithms have minimal loss in diversity during optimization, provided the initial diversity is high. First experiments using restricted Boltzmann machines confirm this insight. Thus IGO seems to provide, from information theory, an elegant way to spontaneously explore several valleys of a fitness landscape in a single run.

研究动机与目标

• 开发一个基于原则、具有不变性的黑箱优化框架，以最小化任意设计选择。
• 在单一信息几何原理下统一多样化的随机优化算法。
• 确保在搜索空间的重参数化、分布参数化以及目标函数的单调变换下保持不变性。
• 通过最小化概率分布随时间的变化，推导出在优化过程中保持多样性的算法。
• 为基于自然梯度的优化提供理论基础，使用自适应的、基于分位数的目标函数变换。

提出的方法

• IGO方法将优化表述为由目标函数的时间依赖、基于分位数的变换的自然梯度上升所控制的连续时间流。
• 该流基于搜索空间X上的概率分布族，其更新由当前分布下目标函数期望的自然梯度驱动。
• IGO流的时间离散化产生显式的IGO算法，其更新规则基于分布下对数似然的加权梯度。
• 该方法使用基于分位数的加权方案，以确保在目标函数单调变换下的不变性。
• 使用费雪信息度量来定义自然梯度，确保在分布参数重参数化下的不变性。
• 该框架自然恢复了已知算法：高斯分布下的CMA-ES和xNES，伯努利分布下的PBIL和cGA，以及针对受限玻尔兹曼机的新算法。

实验结果

研究问题

• RQ1 如何利用不变性原理作为设计指南，构建统一的黑箱优化框架？
• RQ2 单一连续时间优化流是否可通过时间离散化恢复已知算法（如CMA-ES和交叉熵方法）？
• RQ3 IGO框架在优化过程中在多大程度上保持了多样性，这与随时间分布变化最小化有何关联？
• RQ4 基于分位数的目标函数变换如何确保在单调函数变换下的不变性？
• RQ5 IGO算法中最小多样性损失的理论依据是什么，其与自然梯度流有何关系？

主要发现

• IGO框架在搜索空间X的重参数化、分布参数的变换以及目标函数f的递增变换下均保持不变。
• IGO流在数学上等价于对时间依赖、基于分位数的目标函数变换进行自然梯度上升，从而实现最大不变性。
• 该方法在大时间步长极限下自然恢复交叉熵方法，并将其扩展为平滑的、与参数化无关的最大似然更新（IGO-ML）。
• 对于ℝᵈ上的高斯分布，IGO框架恢复了CMA-ES和xNES的版本，证明了其广泛适用性。
• 对于{0,1}ᵈ上的伯努利分布，IGO方法恢复了PBIL和cGA，展示了在离散与连续领域间的统一性。
• 首次使用受限玻尔兹曼机的实验结果表明，IGO保持了高多样性，并可在单次运行中同时探索多个适应度山谷。