[논문 리뷰] An Improved Generic Bet-and-Run Strategy for Speeding Up Stochastic Local Search

Thomas Weise, Zijun Wu외 1명|arXiv (Cornell University)|2018. 06. 23.

Metaheuristic Optimization Algorithms Research참고 문헌 32인용 수 3

한 줄 요약

이 논문은 문제나 알고리즘의 행동에 대한 사전 지식이 없을 때 고정된 시간 예산 내에서 스위치 로컬 서치의 효율적인 시간 할당 문제를 해결하기 위해 개선된 일반적인 BET-AND-RUN 전략을 제안한다. 이 전략은 이른 시점의 런타임 트레이스를 바탕으로 다항식 피팅, 신경망 등의 고급 의사결정 기반 기법을 사용하여 가장 유망한 런을 예측하고 계속 수행하도록 선택함으로써 기존 방법을 향상시킨다. 이 방법은 고정된 시간 예산 내에서 최고의 최종 해를 찾을 확률을 크게 높이며, 표준 재시작 전략과 이전의 currentBest 기반 베이스라인보다 많은 경우에서 뛰어난 성능을 보인다.

ABSTRACT

A commonly used strategy for improving optimization algorithms is to restart the algorithm when it is believed to be trapped in an inferior part of the search space. Building on the recent success of Bet-and-Run approaches for restarted local search solvers, we introduce an improved generic Bet-and-Run strategy. The goal is to obtain the best possible results within a given time budget t using a given black-box optimization algorithm. If no prior knowledge about problem features and algorithm behavior is available, the question about how to use the time budget most efficiently arises. We propose to first start k>=1 independent runs of the algorithm during an initialization budget t1=0 time units in doing so), and then continuing these runs for the remaining t3=t-t1-t2 time units. In previous Bet-and-Run strategies, the decision maker D=currentBest would simply select the run with the best- so-far results at negligible time. We propose using more advanced methods to discriminate between "good" and "bad" sample runs, with the goal of increasing the correlation of the chosen run with the a-posteriori best one. We test several different approaches, including neural networks trained or polynomials fitted on the current trace of the algorithm to predict which run may yield the best results if granted the remaining budget. We show with extensive experiments that this approach can yield better results than the previous methods, but also find that the currentBest method is a very reliable and robust baseline approach.

연구 동기 및 목표

• 문제나 알고리즘 행동에 대한 사전 지식이 없을 때 스위치 로컬 서치에서 고정된 시간 예산을 효율적으로 할당하는 데 도전하는 것.
• 기존 BET-AND-RUN 전략이 현재 최고 성능 기준(currentBest) 히وري스틱에만 의존하는 것을 개선하는 것.
• 런타임 트레이스를 기반으로 한 예측 모델이 가장 높은 최종 성능를 낼 가능성이 있는 런을 더 잘 식별할 수 있는지 조사하는 것.
• 다양한 의사결정 기반 기법(신경망, 다항식 외삽 등)이 현재 최고 성능 기준(currentBest)에 비해 어떤가를 평가하는 것.
• 각 인스턴스와 솔버 설정에 맞게 조정 가능한 구성이 가능한 일반화된 BET-AND-RUN 프레임워크를 제공하는 것.

제안 방법

• 총 시간 예산 t를 세 단계로 나눈다: t1(초기화)는 k개의 독립적인 런을 위한 시간, t2(의사결정)는 m개의 런을 평가하고 선택하기 위한 시간, t3(계속 실행)는 선택된 m개의 런을 실행하기 위한 시간.
• 2단계 동안 의사결정 기반 D는 각 초기 런의 (시간, 품질) 튜플을 분석하여 향후 성능을 예측하고 계속 수행할 m ≥ 1개의 런을 선택한다.
• 의사결정 기반 D는 다양한 기법을 사용해 평가된다: currentBest(기본 기준), 감소 수익률 히وري스틱, 세차 다항식 외삽, 최적화 방법이 다른 퍼셉트론(예: PER(0), PER(1))를 사용한다.
• 예측 모델은 로그 스케일링된 또는 원본 런타임 트레이스를 기반으로 훈련되어, 남은 시간이 주어졌을 때 가장 좋은 해를 달성할 가능성이 높은 런을 예측한다.
• 이 방법은 다양한 문제 인스턴스(MVC 및 TSP)와 다양한 총 시간 예산, k 값, 의사결정 전략을 대상으로 평가된다.
• 모든 실험 데이터와 코드는 재현성 및 향후 연구를 지원하기 위해 공개된다.

실험 결과

연구 질문

• RQ1 기존의 currentBest 히وري스틱을 초월해, 이른 시점의 런타임 행동을 기반으로 한 예측 모델이 BET-AND-RUN 전략의 런 선택을 향상시킬 수 있는가?
• RQ2 기계 학습 및 곡선 피팅 기법들이 초기 시험 결과에서 가장 우수한 성능를 보일 가능성이 높은 런을 예측하는 데 어떻게 비교되는가?
• RQ3 개선된 BET-AND-RUN 전략의 성능는 총 시간 예산, 문제 인스턴스, 또는 초기 런 수 k에 따라 달라지는가?
• RQ4 currentBest 전략은 여전히 강력한 기준이 되는가? 어떤 상황에서 더 복잡한 예측 모델보다 뛰어난가?
• RQ5 인스턴스별로 의사결정 기반 및 예산 할당을 맞춤 설정하면 일관된 성능 향상이 이루어지는가?

주요 결과

• 다항식 외삽 및 훈련된 퍼셉트론과 같은 고급 의사결정 기반을 사용한 개선된 BET-AND-RUN 전략은 다양한 문제 인스턴스와 시간 예산에서 이전의 F17 기준보다 일관되게 뛰어난 성능를 보였다.
• 50%에서 60%의 경우에서 신규 방법은 currentBest 기준보다 더 좋은 결과를 얻었으며, 특히 긴 시간 예산에서 두드러졌다.
• PER(0) 및 PER(1) 신경망 예측 모델은 뛰어난 성능를 보였으며, t=2000s에서 MVC 문제에서 PER(1)는 F17를 뛰어넘는 데 36%의 성공률를 기록했다.
• 감소 수익률 히وري스틱은 단순하고 빠르지만 놀라울 정도로 강력한 성능를 보였으며, t=2000s에서 MVC 문제에서 F17를 58%의 경우에서 뛰어넘었다.
• currentBest 방법은 여전히 매우 신뢰성 있고 강력한 기준이었으며, 작은 예산이나 높은 변동성이 있는 상황에서는 더 복잡한 모델보다 뛰어난 성능를 보였다.
• 윌콕슨 순위합 검정을 통한 통계 분석 결과, 개선된 전략은 20개의 테스트 구성 중 16개에서 F17를 유의미하게 뛰어넘었으며, t=2000s에서 MVC 및 TSP 문제 모두의 파이 차트에서 빨간색(더 좋은 성능)이 지배적이었다.