[論文レビュー] Information-Geometric Optimization Algorithms: A Unifying Picture via Invariance Principles

Yann Ollivier, Ludovic Arnold+2 more|arXiv (Cornell University)|Jun 19, 2011

Metaheuristic Optimization Algorithms Research参考文献 99被引用数 200

ひとこと要約

この論文は、目的関数の時間に依存する分位数に基づく変換に対する自然勾配上昇に基づき、連続時間および離散アルゴリズムを導出する不変性原理を用いて、ブラックボックス最適化を統一的に扱う情報幾何最適化（IGO）を導入する。この手法は、再パラメータ化、パラメータ変更、目的関数の単調変換に対して最大の不変性を達成し、CMA-ES、PBIL、および交差エントロピー法といった既知のアルゴリズムを自然に回復・統合するとともに、最適化中に多様性の損失を最小限に抑える。

ABSTRACT

We present a canonical way to turn any smooth parametric family of probability distributions on an arbitrary search space $X$ into a continuous-time black-box optimization method on $X$, the \emph{information-geometric optimization} (IGO) method. Invariance as a design principle minimizes the number of arbitrary choices. The resulting \emph{IGO flow} conducts the natural gradient ascent of an adaptive, time-dependent, quantile-based transformation of the objective function. It makes no assumptions on the objective function to be optimized. The IGO method produces explicit IGO algorithms through time discretization. It naturally recovers versions of known algorithms and offers a systematic way to derive new ones. The cross-entropy method is recovered in a particular case, and can be extended into a smoothed, parametrization-independent maximum likelihood update (IGO-ML). For Gaussian distributions on $\mathbb{R}^d$, IGO is related to natural evolution strategies (NES) and recovers a version of the CMA-ES algorithm. For Bernoulli distributions on $\{0,1\}^d$, we recover the PBIL algorithm. From restricted Boltzmann machines, we obtain a novel algorithm for optimization on $\{0,1\}^d$. All these algorithms are unified under a single information-geometric optimization framework. Thanks to its intrinsic formulation, the IGO method achieves invariance under reparametrization of the search space $X$, under a change of parameters of the probability distributions, and under increasing transformations of the objective function. Theory strongly suggests that IGO algorithms have minimal loss in diversity during optimization, provided the initial diversity is high. First experiments using restricted Boltzmann machines confirm this insight. Thus IGO seems to provide, from information theory, an elegant way to spontaneously explore several valleys of a fitness landscape in a single run.

研究の動機と目的

• 任意の設計選択を最小限に抑える原理的で不変なブラックボックス最適化フレームワークの構築。
• 多様な確率的最適化アルゴリズムを一つの情報幾何的原則の下で統一すること。
• 探索空間の再パラメータ化、分布のパrameter化、目的関数の単調変換に対して不変性を保証すること。
• 最適化中に確率分布の変化を最小限に抑えることで、多様性を保持するアルゴリズムを導出すること。
• 適応的で分位数に基づく目的関数変換を用いた自然勾配に基づく最適化の理論的基盤を提供すること。

提案手法

• IGO手法は、時間に依存する分位数に基づく目的関数の変換に対する自然勾配上昇に基づく連続時間フローとして最適化を定式化する。
• フローは探索空間 X 上の確率分布族から導出され、現在の分布下での期待目的関数の自然勾配によって駆動される。
• IGOフローの時間離散化により明示的なIGOアルゴリズムが得られ、更新則は分布下での対数尤度の重み付き勾配に基づく。
• 目的関数の単調変換に対して不変性を保証するために、分位数に基づく重み付け方式が用いられる。
• フィッシャー情報計量を用いて自然勾配を定義することで、分布パrameterの再パラメータ化に対して不変性を確保する。
• このフレームワークは自然に既知のアルゴリズムを回復する：正規分布に対してCMA-ESおよびxNES、ベルヌーイ分布に対してPBILおよびcGA、および制限付きボルツマンマシンに対する新しいアルゴリズム。

実験結果

リサーチクエスチョン

• RQ1 不変性原理を設計指針として用いることで、ブラックボックス最適化の統一的フレームワークをどのように構築できるか？
• RQ2 一度の連続時間最適化フローから、CMA-ES や交差エントロピー法といった既知のアルゴリズムが時間離散化によって回復可能か？
• RQ3 IGOフレームワークは最適化中に多様性をどの程度保持するのか？ これは時間経過に伴う分布の変化を最小限に抑えることとどのように関連するか？
• RQ4 分位数に基づく目的関数変換を用いることで、単調関数変換に対して不変性がどのように保証されるか？
• RQ5 IGOアルゴリズムにおける多様性の最小損失の理論的根拠は何か？ これは自然勾配フローとどのように関連するか？

主な発見

• IGOフレームワークは、探索空間 X の再パラメータ化、確率分布のパラメータ変更、目的関数 f の増加変換に対して不変性を達成する。
• IGOフローは、時間に依存する分位数に基づく目的関数変換に対する自然勾配上昇と数学的に同等であり、最大の不変性を保証する。
• この手法は、大きな時間ステップの極限で交差エントロピー法を自然に回復し、それを滑らかでパラメータ依存性のない最尤推定更新（IGO-ML）に拡張する。
• ℝᵈ 上の正規分布に対しては、IGOフレームワークはCMA-ESおよびxNESのバージョンを回復し、広範な適用可能性を示す。
• {0,1}ᵈ 上のベルヌーイ分布に対しては、IGO手法はPBILおよびcGAを回復し、離散的・連続的領域の両方で統一を示す。
• 制限付きボルツマンマシンを用いた最初の実験では、IGOが高い多様性を維持し、一度の実行で複数の適応度の谷を同時に探索可能であることが確認された。