[論文レビュー] Lévy flights as an underlying mechanism for global optimization algorithms

M. Gutowski|ArXiv.org|Jun 4, 2001

Advanced Differential Equations and Dynamical Systems被引用数 61

ひとこと要約

本稿では、Lévy飛行—安定的で裾の重いLévy分布—を、探索空間における短い飛距離と長い飛距離の混合を可能にする確率的メカニズムとして用いることを提案する。Lévy指数βを調整することで、局所探索とグローバル探索のバランスをとることができ、従来のガウス分布や一様分布のステップと比較して、局所最適解からの脱出において優れた性能を示す。

ABSTRACT

In this paper we propose and advocate the use of the so called Lévy flights as a driving mechanism for a class of stochastic optimization computations. This proposal, for some reasons overlooked until now, is - in author's opinion - very appropriate to satisfy the need for algorithm, which is capable of generating trial steps of very different length in the search space. The required balance between short and long steps can be easily and fully controlled. A simple example of approximated Lévy distribution, implemented in FORTRAN 77, is given. We also discuss the physical grounds of presented methods.

研究の動機と目的

• 制限されたステップサイズにより、局所最適解から脱出できない従来の確率的最適化アルゴリズムの限界を解消すること。
• 標準的なランダムウォークモデルの代替として、物理的根拠と数学的厳密性を持つLévy飛行を最適化に導入すること。
• Lévy指数βを用いることで、局所的微調整とグローバル探索のバランスを調整可能であることを示すこと。
• 最適化ルーチンで使用可能なLévy分布に従うステップを生成するための実用的FORTRAN 77ベースの乱数生成器を提供すること。
• 古典的拡散（ブラウン運動）と量子トンネル効果の両者を、同一の確率的枠組みで統一的に扱うこと。

提案手法

• 特徴的指数β ∈ (0,2) を持つLévy安定分布を用いて、探索空間内のステップ長を生成し、βが尾の重さを制御すること。
• 逆変換法を用いて、Lévy分布に従う確率変数を生成するための式 x = ξ^(-1/β) - 1 を用いる。ここで ξ ~ Uniform(0,1) である。
• 得られた確率的ステップをモンテカルロ風の最適化手順に適用し、各ステップは目的関数値に基づいて受け入れまたは却下される。
• Lévy飛行と超拡散的プロセスとの物理的類似性に依拠し、β < 2 により長距離飛行が可能となり、グローバル探索能力が向上すること。
• βに応じた挙動の違いを明確に定義する：β ≤ 1 は量子トンネル効果に類似した挙動（有限モーメントなし）、1 < β < 2 は超拡散、β = 2 は標準的ブラウン運動。
• Lévy分布に従う変量を生成するための、累積分布関数の逆数を用いるシンプルで最適化されていないFORTRAN 77サブルーチン（LEVY1）を採用する。

実験結果

リサーチクエスチョン

• RQ1 Lévy飛行は、ガウス分布や一様分布のステップと比較して、グローバル最適化における局所最適解からの脱出メカニズムとしてより効果的であるか？
• RQ2 Lévy指数βは、確率的最適化アルゴリズムにおける局所探索とグローバル探索のバランスをどのように制御するか？
• RQ3 Lévy飛行を最適化プロセスのモデルとして用いる物理的・数学的根拠は何か？
• RQ4 実際の最適化ルーチンで使用可能なLévy分布に従う乱数をどのように効率的に生成できるか？
• RQ5 Lévyに基づくアルゴリズムは、古典的拡散と量子トンネル効果の挙動をどの程度統一的に扱えるか？

主な発見

• β ∈ (0,2) のLévy飛行は、探索空間における長距離飛行を可能にし、ガウス分布や有界一様分布のステップと比較して、局所最適解からの脱出能力が著しく向上することが示された。
• アルゴリズムの挙動はLévy指数βによって完全に制御される：β ≤ 1 では量子トンネル効果に類似した挙動（無限の分散）、β ∈ (1,2) では超拡散、β = 2 では標準的ブラウン運動に還元される。
• 提案されたLévy生成器（LEVY1）のFORTRAN 77実装は、CDFの逆数を用いることで、所望のべき乗則的尾部挙動を示す変量を効果的に生成した。
• 品質の低いガウス乱数生成器でさえ、長距離ステップはまれであるため、Lévy飛行のようなメカニズムを備えない限り、グローバル最適化に効果的ではない。
• 理論的および物理的根拠により、有限分散ステップを持つ従来のランダムウォークモデルよりも、Lévy飛行はより自然で効果的な最適化モデルであると支持される。
• 古典的拡散（Fickの法則）と量子トンネル効果（シュレーディンガー方程式）の両者を、共通の2階偏微分方程式構造によって統一的に扱う数学的枠組みを提供する。