[논문 리뷰] General Algorithmic Search

Sergio Hernández, Guillem Duran외 1명|arXiv (Cornell University)|2017. 05. 24.

Metaheuristic Optimization Algorithms Research참고 문헌 7인용 수 4

한 줄 요약

이 논문은 일반적 알고리즘적 탐색(GAS)을 소개한다. GAS는 내부 흐름 상태를 지닌 에이전트(워커)의 군집과 복제 기반 확산을 통해 탐색 공간을 탐색하는 확률적 단일 목적 메타휴리스틱이다. 31개의 복잡한 함수와 Lennard-Jones 포텐셜에서의 벤치마크 테스트에서, GAS는 베이신 히프팅, 쿠쿠우 서치, 그리고 디퍼렌셜 엘리션보다 뛰어난 성능을 보이며, 특히 동시 최적화에서 뚜렷한 성능 향상이 나타나며 다수의 실행에서 스케일링이 잘 된다.

ABSTRACT

In this paper we present a metaheuristic for global optimization called General Algorithmic Search (GAS). Specifically, GAS is a stochastic, single-objective method that evolves a swarm of agents in search of a global extremum. Numerical simulations with a sample of 31 test functions show that GAS outperforms Basin Hopping, Cuckoo Search, and Differential Evolution, especially in concurrent optimization, i.e., when several runs with different initial settings are executed and the first best wins. Python codes of all algorithms and complementary information are available online.

연구 동기 및 목표

• 다양하고 도전적인 테스트 함수에 효과적으로 작용할 수 있는 일반적인 목적의 메타휴리스틱을 개발하여 비제약 전역 최적화 문제를 해결하는 것.
• 기존 메타휴리스틱이 복잡하고 다모드적인 탐색 공간, 특히 고차원 및 거친 탐색 공간에서의 한계를 해결하는 것.
• 단일 실행 및 동시 최적화 설정에서 최신 기술과의 성능을 평가하는 것.
• Lennard-Jones 포텐셜을 포함한 벤치마크 함수에서 알고리즘의 강건성과 확장성을 입증하는 것.

제안 방법

• GAS는 N명의 워커로 구성된 인구를 사용하며, 각 워커는 탐색 도메인 내의 위치와 그보다 큰 내부 흐름 값 F_i > 0을 지닌다. 이 흐름 값은 이동 및 선택 동역학에 영향을 준다.
• 함수 값의 정규화를 위해 흐름 기반 스케일링 ϕ_i = (f(x_i) - f_min)/(f_max - f_min)을 사용하여 워커 간의 상대적 적합도 비교를 가능하게 한다.
• 워커들은 의사시간 내에서 확률적 이동을 수행하며, 복제를 통해 한 워커의 상태가 다른 워커를 대체함으로써 탐색의 다양성과 局부 최소값 탈출 능력을 향상시킨다.
• 타부 메모리 목록을 유지하여 局부 최소값을 식별하고 재방문을 방지함으로써, 탐색의 조기 수렴을 방지한다. 이는 타부 서치에서 영감을 받은 것이다.
• 가장 좋은 워커를 대상으로 L-BFGS-B를 사용하여 국소 최적화를 수행하며, 각 반복마다 현재 최고 해를 정밀하게 개선한다.
• 알고리즘은 알려진 전역 최소값으로부터 절대 오차 ≤ 10⁻⁶일 경우에 정지 기준을 설정함으로써 수렴 정밀도를 보장한다.

실험 결과

연구 질문

• RQ1 기본 벤치마크 함수에서 GAS는 베이신 히프팅, 쿠쿠우 서치, 디퍼렌셜 엘리션과 비교해 수렴 속도와 성공률 측면에서 어떻게 성능을 내는가?
• RQ2 여러 개의 독립적인 실행이 동시에 수행되는 동시 최적화 환경에서 GAS의 성능은 뚜렷하게 향상되는가?
• RQ3 Lennard-Jones 포텐셜은 많은 메타휴리스틱에 어려운 함수군이지만, GAS는 이들 함수 최적화에서 얼마나 효과적인가?
• RQ4 문제 특화 지식을 활용하지 않고도 GAS가 높은 성능을 유지할 수 있는가? 이는 다양한 최적화 문제에 대한 일반화 가능성의 지표가 된다.

주요 결과

• 단일 실행 최적화에서 GAS는 베이신 히프링을 뚜렷이 앞서며, 디퍼렌셜 엘리션은 약간의 우위를 보이며, 쿠쿠우 서치는 그 사이에 위치한다.
• 10, 20, 또는 50회의 동시 실행에서 GAS는 모든 기준선보다 뚜렷하고 스케일러블한 성능 우위를 보이며, 실행 수가 증가할수록 그 우위가 더욱 두드러진다.
• 4~10개 입자를 가진 Lennard-Jones 포텐셜에 대해 GAS는 베이신 히프링과 쿠쿠우 서치를 일관되게 앞서며, 입자 수가 증가할수록 성능 격차가 더욱 벌어진다.
• 디퍼렌셜 엘리션은 모든 Lennard-Jones 벤치마크에서 빈약한 성능을 보이며, 베이신 히프링은 이러한 함수에 특화되어 설계되었음에도 불구하고 최고 성능을 달성하지 못한다.
• GAS의 성공은 문제 특화 지식 덕분이 아니며, 이는 문제의 구조에 대한 사전 지식 없이도 다양한 테스트 함수에서 뛰어난 성능을 내는 비편향 알고리즘이라는 점을 시사한다.
• 알고리즘의 성능은 강건하고 확장 가능하며, 함수 읽기 횟수와 동시 실행 수가 증가할수록 성공 최적화 비율이 지속적으로 증가한다.