[논문 리뷰] Lévy flights as an underlying mechanism for global optimization algorithms

M. Gutowski|ArXiv.org|2001. 06. 04.

Advanced Differential Equations and Dynamical Systems인용 수 61

한 줄 요약

이 논문은 전역 최적화 알고리즘에서 Lévy 비행—안정적이고 꼬리가 두꺼운 Lévy 분포—을 확률적 메커니즘으로 사용하여, 짧은 점프와 긴 점프의 조합을 통해 탐색 공간을 효율적으로 탐색할 수 있도록 제안한다. Lévy 지수 β를 조정함으로써 국소 탐색과 전역 탐색의 균형을 맞출 수 있으며, 전통적인 가우시안 또는 균일 분포의 단계보다 局부 최적해에서 벗어나는 데 더 우수하다.

ABSTRACT

In this paper we propose and advocate the use of the so called Lévy flights as a driving mechanism for a class of stochastic optimization computations. This proposal, for some reasons overlooked until now, is - in author's opinion - very appropriate to satisfy the need for algorithm, which is capable of generating trial steps of very different length in the search space. The required balance between short and long steps can be easily and fully controlled. A simple example of approximated Lévy distribution, implemented in FORTRAN 77, is given. We also discuss the physical grounds of presented methods.

연구 동기 및 목표

• 제한된 단계 크기로 인해 局부 최적해에서 벗어나기 어려운 전통적인 확률적 최적화 알고리즘의 한계를 해결하기 위해.
• 최적화에서 표준 랜덤 워크 모델의 물리적으로 타당하고 수학적으로 엄밀한 대안으로 Lévy 비행을 제안하기 위해.
• Lévy 지수 β를 통해 국소 정밀화와 전역 탐색의 조절 가능한 균형을 제공할 수 있음을 보여주기 위해.
• 최적화 루틴에서 사용할 수 있는 Lévy 분포를 가진 단계를 생성하기 위한 실용적인 FORTRAN 77 기반 난수 생성기 제공하기 위해.
• 고전적 확산(Brownian 운동)과 양자 터널링 효과를 하나의 확률적 프레임워크 아래 통합하기 위해.

제안 방법

• 특성 지수 β ∈ (0,2)를 가진 Lévy 안정 분포를 사용하여 탐색 공간 내 단계 길이를 생성하며, 여기서 β는 꼬리의 두께를 제어한다.
• 역변환 방법을 사용하여 공식 x = ξ^(-1/β) - 1을 통해 Lévy 분포를 가진 난수 변수를 생성하며, 여기서 ξ ~ Uniform(0,1).
• 결과로 얻은 난수 단계를 몬테카를로 방식의 최적화 절차에 적용하며, 각 단계는 목적 함수 값에 따라 수용 또는 기각된다.
• Lévy 비행과 초초과 확산 과정 사이의 물리적 유사성에 기반하며, β < 2일 경우 장거리 점프가 가능하여 전역 탐색 능력이 향상된다.
• β에 따른 행동을 구분한다: β ≤ 1은 유한한 모멘트가 없는 양자 터널링 유사 행동을 나타내며, 1 < β < 2는 초초과 확산을 나타내며, β = 2는 표준 Brownian 운동으로 감소한다.
• CDF의 역함수를 이용하여 Lévy 분포 변수를 생성하는 단순한 비최적화 FORTRAN 77 서브루틴(LEVY1)을 사용한다.

실험 결과

연구 질문

• RQ1 Gaussian 또는 균일 단계 분포보다 Lévy 비행이 국부 최적해에서 벗어나는 데 더 효과적인가?
• RQ2 Lévy 지수 β는 확률적 최적화 알고리즘에서 국소 탐색과 전역 탐색의 균형을 어떻게 제어하는가?
• RQ3 Lévy 비행을 최적화 과정의 모델로 사용하는 데 있어 물리적 및 수학적 근거는 무엇인가?
• RQ4 실제로 최적화 루틴에서 사용할 수 있는 Lévy 분포 난수를 효율적으로 생성하는 방법은 무엇인가?
• RQ5 Lévy 기반 알고리즘은 고전적 확산과 양자 터널링의 행동을 어느 정도 통합하는가?

주요 결과

• β ∈ (0,2)인 Lévy 비행은 탐색 공간에서 장거리 점프를 가능하게 하여, Gaussian 또는 유한한 균일 단계보다 국부 최적해에서 벗어나는 능력이 크게 향상된다.
• 알고리즘의 행동은 전적으로 Lévy 지수 β에 의해 제어된다: β ≤ 1은 무한한 분산을 가진 양자 터널링 유사 행동을 가능하게 하며, β ∈ (1,2)는 초초과 확산을 가능하게 하며, β = 2는 표준 Brownian 운동으로 감소한다.
• 제안된 FORTRAN 77 기반 Lévy 생성기(LEVY1)는 CDF의 역함수를 이용하여 원하는 거듭제곱 꼬리 행동을 가진 변수를 성공적으로 생성한다.
• 나쁜 품질의 가우시안 난수 생성기조차도 장거리 단계는 희귀하므로, Lévy 비행과 같은 메커니즘을 통해 강화되지 않는 한 이러한 알고리즘은 전역 최적화에 효과적이지 않다.
• 이 방법은 고전적 확산(Fick의 법칙)과 양자 터널링(스chrödinger 방정식)을 그들의 공통된 두 번째 순서 편미분 구조를 통해 통합하는 수학적 프레임워크를 제공한다.
• 이론적 및 물리적 근거는 Lévy 비행이 유한 분산 단계를 가진 전통적인 랜덤 워크 모델보다 더 자연스럽고 효과적인 최적화 모델임을 뒷받침한다.