[논문 리뷰] Extremal Optimization: Methods derived from Co-Evolution

Stefan Boettcher, Allon G. Percus|ArXiv.org|1999. 04. 13.

VLSI and FPGA Design Techniques참고 문헌 10인용 수 143

한 줄 요약

이 논문은 하드한 최적화 문제를 해결하기 위한 새로운 휴리스틱인 극한 최적화(EO)를 소개한다. 이 방법은 공진화 모델인 Bak-Sneppen 모델에서 영감을 받아, 한 개의 해에서 성능이 가장 열 劣한 구성 요소를 반복적으로 교체함으로써 작동한다. 유전 알고리즘이나 시뮬레이티드 어닐링과 달리, EO는 평형 상태를 가정하지 않고 순위 기반의 비평형 선택 과정을 사용하며, 그래프 분할 문제와 TSP에서 최신 기법들과 경쟁하거나 그들을 능가하는 성능을 보인다. 파라미터 조정이 최소한으로 필요하다.

ABSTRACT

We describe a general-purpose method for finding high-quality solutions to hard optimization problems, inspired by self-organized critical models of co-evolution such as the Bak-Sneppen model. The method, called Extremal Optimization, successively eliminates extremely undesirable components of sub-optimal solutions, rather than ``breeding'' better components. In contrast to Genetic Algorithms which operate on an entire ``gene-pool'' of possible solutions, Extremal Optimization improves on a single candidate solution by treating each of its components as species co-evolving according to Darwinian principles. Unlike Simulated Annealing, its non-equilibrium approach effects an algorithm requiring few parameters to tune. With only one adjustable parameter, its performance proves competitive with, and often superior to, more elaborate stochastic optimization procedures. We demonstrate it here on two classic hard optimization problems: graph partitioning and the traveling salesman problem.

연구 동기 및 목표

• 자기조직 임계성과 공진화 역학에서 영감을 얻은 일반 목적의 최적화 방법을 개발하기 위해.
• 그래프 분할 문제나 TSP와 같은 어려운 조합 최적화 문제에 대해 고품질의 해를 찾는 데 도전하는 데.
• 시뮬레이티드 어닐링과 달리 평형 상태를 가정하지 않고, 파라미터 수를 최소화한 방법을 설계하기 위해.
• 극한 역학이 학습과 같은 복잡계 내 적응 과정을 모델링할 수 있는가를 탐색하기 위해.

제안 방법

• EO는 인구집단이 아닌 단일 후보 해를 대상으로 작동하며, 각 구성 요소를 공진화 시스템 내의 종으로 간주한다.
• 각 단계에서 가장 낮은 적합도(낮은 순위)를 가진 구성 요소가 새로운 무작위 값으로 교체되며, 이는 가장 적합도가 낮은 개체에 대한 자연 선택을 모방한다.
• 적합도는 구성 요소가 목적 함수에 기여하는 정도에 따라 평가되며, 교체 과정은 거듭제곱 법칙 순위 분포 P(n) ∼ n^−τ에 따라 유도된다.
• TSP의 경우, 적합도 순위 기반으로 가장 열 劣한 도시를 선택하고, 동일한 순위 기반 선택을 사용하여 더 나은 이웃으로 재연결함으로써 순회 유효성을 유지한다.
• 이 방법은 양호한 구성 요소를 유지하면서도 선택적 교체를 통해 탐색을 허용하는 비평형 역학을 사용한다.
• 핵심 파라미터 τ는 경험적으로 조정되며, 유클리드 TSP의 경우 τ = 4, 비유클리드 TSP의 경우 τ = 4.4이다.

실험 결과

연구 질문

• RQ1 공진화에서 영감을 얻은 비평형, 극한 선택 과정이 하드한 조합 문제에서 전통적인 확률적 최적화 방법보다 뛰어난 성능을 보일 수 있는가?
• RQ2 그래프 분할 문제와 TSP에서 EO의 성능은 시뮬레이티드 어닐링과 정확한 알고리즘과 비교해 어떻게 되는가?
• RQ3 EO의 순위 기반 선택 메커니즘이 충분한 탐색을 제공하면서도 양호한 해 구성 요소를 유지하는가?
• RQ4 왜 시뮬레이티드 어닐링의 장시간 런 타임이 실패하는 랜덤 거리 TSP에서 EO는 시뮬레이티드 어닐링을 능가하는가?
• RQ5 극한 역학은 복잡계 내 적응 과정, 예를 들어 신경 시스템 내 학습과 같은 과정을 모델링할 수 있는가?

주요 결과

• 그래프 분할 문제에서 EO는 최적 또는 근사 최적의 컷사이즈를 달성했으며, 희박한 그래프의 경우 m_opt = 1 (α ≈ 4), 더 농축된 그래프의 경우 m_opt = 13 (α ≈ 8)였다.
• 유클리드 TSP의 경우, EO의 최고 순회 길이는 N ≤ 256일 때 정확한 해의 1% 이내였으며, 평균적으로 시뮬레이티드 어닐링과 동일하거나 略로 뛰어났다.
• 비유클리드(랜덤 거리) TSP의 경우, EO는 시뮬레이티드 어닐링을 뚜렷이 능가했으며, 특히 큰 N에서 SA 성능이 장시간 런 타임 동안 떨어지는 가운데서도 뛰어난 성능을 보였다.
• EO의 성능은 여러 문제 인스턴스에 걸쳐 뛰어난 안정성을 보였으며, 10번의 런 중 최고 성능가가 항상 SA를 능가하거나 동등하게 유지되었다.
• 이 방법은 조정 가능한 파라미터가 오직 하나(τ)뿐이었으며, 더 복잡한 알고리즘에 비해 높은 효율성과 낮은 조정 부담을 보였다.
• EO의 성공은 극한 역학이 자연과 인지에서의 적응적, 자가조직화 과정을 모델링할 수 있음을 시사하며, 신경 시스템 내 학습과 같은 과정에도 적용 가능하다.