[논문 리뷰] Simple Hyper-heuristics Optimise LeadingOnes in the Best Runtime Achievable Using Randomised Local Search Low-Level Heuristics

Andrei Lissovoi, Pietro S. Oliveto외 1명|arXiv (Cornell University)|2018. 01. 23.

Metaheuristic Optimization Algorithms Research인용 수 1

한 줄 요약

이 논문은 LeadingOnes 함수를 위한 랜덤화된 국소 탐색(RLS)에서 이웃 크기를 적응적으로 선택하기 위해 최소한의 강화학습 메커니즘을 사용하는 일반화된 무작위 그래디언트 하이퍼휴리스틱(GRG)을 제안한다. 이는 낮은 수준의 휴리스틱들만을 사용하여 최적의 런타임 성능를 달성함으로써 표준 RLS 및 진화 알고리즘을 뛰어넘으며, 특히 anytime 성능 기준에서 뛰어난 성능을 발휘한다.

ABSTRACT

Selection HHs are randomised search methodologies which choose and execute heuristics during the optimisation process from a set of low-level heuristics. A machine learning mechanism is generally used to decide which low-level heuristic should be applied in each decision step. In this paper we analyse whether sophisticated learning mechanisms are always necessary for HHs to perform well. To this end we consider the most simple HHs from the literature and rigorously analyse their performance for the LeadingOnes function. Our analysis shows that the standard Simple Random, Permutation, Greedy and Random Gradient HHs show no signs of learning. While the former HHs do not attempt to learn from the past performance of low-level heuristics, the idea behind the Random Gradient HH is to continue to exploit the currently selected heuristic as long as it is successful. Hence, it is embedded with a reinforcement learning mechanism with the shortest possible memory. However, the probability that a promising heuristic is successful in the next step is relatively low when perturbing a reasonable solution to a combinatorial optimisation problem. We generalise the simple Random Gradient HH so success can be measured over a fixed period of time tau, instead of a single iteration. For LO we prove that the Generalised Random Gradient HH can learn to adapt the neighbourhood size of RLS to optimality during the run. We prove it has the best possible performance achievable with the low-level heuristics. We also prove that the performance of the HH improves as the number of low-level local search heuristics to choose from increases. Finally, we show that the advantages of GRG over RLS and EAs using standard bit mutation increase if the anytime performance is considered. Experimental analyses confirm these results for different problem sizes.

연구 동기 및 목표

• 복잡한 학습 메커니즘이 하이퍼휴리스틱이 높은 성능을 달성하는 데 필수적인가를 조사하는 것.
• LeadingOnes 함수에서 기본 하이퍼휴리스틱—단순 무작위, 순열, 근사적, 무작위 그래디언트—의 성능을 분석하는 것.
• 단일 단계가 아닌 시간 창 τ 동안의 성공을 측정하는 일반화된 무작위 그래디언트 하이퍼휴리스틱(GRG)을 설계하고 분석하는 것.
• GRG가 주어진 낮은 수준의 휴리스틱들로 가능한 한 최고의 성능을 달성하기 위해 RLS의 이웃 크기를 최적화하여 적응할 수 있음을 증명하는 것.
• 사용 가능한 낮은 수준의 휴리스틱 수가 증가할수록 하이퍼휴리스틱의 성능에 어떤 영향을 미치는지 평가하고, RLS 및 표준 진화 알고리즘과 비교하는 것.

제안 방법

• 논문은 네 가지 기준 하이퍼휴리스틱—단순 무작위, 순열, 근사적, 무작위 그래디언트—를 분석하며, 모두 낮은 수준의 국소 탐색 휴리스틱들만을 사용한다.
• 고정된 시간 창 τ 동안의 성공을 기반으로 단일 반복이 아닌 성능을 평가하는 일반화된 무작위 그래디언트(GRG) 하이퍼휴리스틱을 도입한다.
• GRG는 최소한의 메모리만을 사용하는 강화학습 메커니즘을 활용한다: τ개의 연속된 단계에서 잘 수행되는 한, 동일한 휴리스틱을 계속 사용한다.
• 분석은 LeadingOnes 함수를 대상으로 하며, GRG의 런타임을 RLS 및 표준 진화 알고리즘과 비교한다.
• 이론적 증명을 통해 GRG가 주어진 낮은 수준의 휴리스틱들로 달성 가능한 최고의 런타임 성능를 확보함을 입증한다.
• 사용 가능한 낮은 수준의 휴리스틱 수가 증가함에 따라 성능 향상의 한계를 유도한다.

실험 결과

연구 질문

• RQ1 복잡한 학습 메커니즘이 없는 단순한 하이퍼휴리스틱이 조합 최적화 문제에서 최적의 성능를 달성할 수 있는가?
• RQ2 최소한의 메모리만을 갖는 무작위 그래디언트 하이퍼휴리스틱은 LeadingOnes 함수에서 학습의 흔적을 보일 수 있는가?
• RQ3 성공 평가 창을 한 단계에서 τ 단계로 일반화함으로써 하이퍼휴리스틱 성능에 상당한 향상이 올 수 있는가?
• RQ4 사용 가능한 낮은 수준의 휴리스틱 수가 증가할수록 하이퍼휴리스틱의 성능이 향상되는가?
• RQ5 GRG 하이퍼휴리스틱의 anytime 성능은 비트 뒤집기 변이를 사용하는 RLS 및 표준 진화 알고리즘과 비교해 어떻게 되는가?

주요 결과

• 표준 단순 무작위, 순열, 근사적, 무작위 그래디언트 하이퍼휴리스틱은 과거의 휴리스틱 성능에 기반한 적응을 하지 않기 때문에 학습 행동을 보이지 않는다.
• 일반화된 무작위 그래디언트(GRG) 하이퍼휴리스틱은 런타임 내내 RLS의 이웃 크기를 최적화하여 적응함으로써 최고의 런타임 성능를 달성한다.
• 사용 가능한 낮은 수준의 국소 탐색 휴리스틱의 수가 증가할수록 GRG의 성능이 향상되며, 이는 이 접근법의 확장성을 보여준다.
• GRG는 RLS 및 표준 진화 알고리즘(비트 뒤집기 변이 사용)을 모두 뛰어넘으며, 특히 초기 수렴이 중요한 경우에 중요한 anytime 성능 기준에서 뛰어난 성능를 발휘한다.
• 실험 결과는 다양한 문제 크기에서 이론적 결과를 확인하며, GRG 접근법의 견고성을 입증한다.