[논문 리뷰] Algorithm Runtime Prediction: Methods & Evaluation

Frank Hutter, Lin Xu외 2명|arXiv (Cornell University)|2012. 11. 05.

Advanced Multi-Objective Optimization Algorithms참고 문헌 88인용 수 44

한 줄 요약

이 논문은 기계학습을 활용한 알고리즘 실행 시간 예측을 위한 종합적인 프레임워크를 제시하며, 랜덤 포레스트와 근사 가우시안 프로세스 기반의 고도로 발전된 모델과 SAT, TSP, MIP 문제를 위한 새로운 인스턴스 특징을 도입한다. 이 모델들이 11개 알고리즘과 35개의 인스턴스 분포에 걸쳐 새로운 인스턴스와 파rameter 설정에 일반화하는 데 있어 이전 방법들보다 뚜렷이 뛰어난 성능을 보임을 입증한다.

ABSTRACT

Perhaps surprisingly, it is possible to predict how long an algorithm will take to run on a previously unseen input, using machine learning techniques to build a model of the algorithm's runtime as a function of problem-specific instance features. Such models have important applications to algorithm analysis, portfolio-based algorithm selection, and the automatic configuration of parameterized algorithms. Over the past decade, a wide variety of techniques have been studied for building such models. Here, we describe extensions and improvements of existing models, new families of models, and -- perhaps most importantly -- a much more thorough treatment of algorithm parameters as model inputs. We also comprehensively describe new and existing features for predicting algorithm runtime for propositional satisfiability (SAT), travelling salesperson (TSP) and mixed integer programming (MIP) problems. We evaluate these innovations through the largest empirical analysis of its kind, comparing to a wide range of runtime modelling techniques from the literature. Our experiments consider 11 algorithms and 35 instance distributions; they also span a very wide range of SAT, MIP, and TSP instances, with the least structured having been generated uniformly at random and the most structured having emerged from real industrial applications. Overall, we demonstrate that our new models yield substantially better runtime predictions than previous approaches in terms of their generalization to new problem instances, to new algorithms from a parameterized space, and to both simultaneously.

연구 동기 및 목표

• 고도로 파rameter화된 알고리즘에 대한 실행 시간 예측 모델의 정확도와 일반화 능력을 향상시키기.
• SAT, MIP, TSP 문제를 위한 새로운 종합적인 특징 세트 개발하기 — 탐색 및 실행 시간 특징 포함.
• 지금까지 가장 광범위한 실행 시간 예측 방법에 대한 실증적 평가 수행하기 — 신규 인스턴스, 신규 파arameter 설정, 둘 다 포함.
• 조기 종료된 실행에서 발생하는 케일드된 실행 시간 데이터를 더 잘 다루기 위해 생존 분석 기법 통합하기.
• 알고리즘 선택, 구성, 벤치마크 생성을 위한 경험적 성능 모델링(EPMs)의 새로운 최고 수준 설정하기.

제안 방법

• 실행 시간 예측의 핵심 회귀 모델로 랜덤 포레스트와 근사 가우시안 프로세스 사용하기.
• 알고리즘 파arameter(이산형 및 연속형 모두)를 입력 특징으로 통합하여 파arameter화된 알고리즘 공간 전반의 성능 모델링하기.
• 새로운 인스턴스 특징 설계 및 구현: 탐색 특징(예: 부분적 해결 행동)과 실행 시간 특징(예: 초기 단계 실행 메트릭) 포함.
• 세 가지 다른 예측 과제에 대해 동일한 프레임워크를 활용하여 모델 평가하기: 새로운 인스턴스로의 일반화, 새로운 파arameter 설정으로의 일반화, 둘 다.
• 실행이 완료되기 전에 종료된 경우 발생하는 케일드된 데이터를 처리하기 위해 생존 분석 기법(예: 코크스 비례 위험 모델) 적용하기.
• SAT, MIP, TSP 분야에서 11개 알고리즘과 35개의 인스턴스 분포를 모두 활용해 모델의 학습 및 검증 수행하기.

실험 결과

연구 질문

• RQ1 랜덤 포레스트와 근사 가우시안 프로세스와 같은 고급 기계학습 모델이 전통적인 회귀 모델에 비해 실행 시간 예측 정확도를 향상시킬 수 있는가?
• RQ2 특히 탐색 및 실행 시간 특징을 포함한 새로운 인스턴스 특징들이 SAT, MIP, TSP 문제 전반에서 예측 성능 향상에 얼마나 기여하는가?
• RQ3 제안된 모델들이 새로운 문제 인스턴스, 새로운 알고리즘 파arameter 설정, 또는 둘 다에 대해 얼마나 잘 일반화되는가?
• RQ4 조기 종료된 실행에서 발생하는 케일드된 실행 시간 데이터를 다룰 때 생존 분석 기법이 성능 향상에 기여하는가?
• RQ5 경험적 성능 모델링(EPMs)의 현재 최고 수준은 무엇이며, 제안된 모델들이 종합적인 평가에서 기존의 모든 방법들과 비교해 어떻게 성능을 냈는가?

주요 결과

• 특히 생존 분석 기법을 통합한 랜덤 포레스트를 포함한 제안된 모델들이, 새로운 문제 인스턴스에 대해 이전 방법들보다 훨씬 뛰어난 일반화 성능을 달성한다.
• 알고리즘 파arameter를 모델 입력으로 통합함으로써 정확도가 크게 향상되며, 특히 파arameter화된 알고리즘 구성 맥락에서 두드러진다.
• 새로운 특징 세트(138개의 SAT, 121개의 MIP, 64개의 TSP)는 탐색 및 실행 시간 특징이 실행 시간 행동을 매우 예측 가능하게 한다는 것을 입증한다.
• 11개 알고리즘과 35개 인스턴스 분포에 대한 평가 결과, 제안된 모델이 예측 정확도와 강건성 측면에서 이전의 모든 방법들을 능가함을 확인한다.
• 생존 분석 기법은 특히 완료되지 않은 실행에서 발생하는 케일드된 데이터를 처리할 때 최고의 모델(랜덤 포레스트)의 성능을 추가로 향상시킨다.
• 본 연구는 EPMs의 새로운 벤치마크를 설정하였으며, 고급 모델, 풍부한 특징, 종합적인 평가의 조합이 알고리즘 실행 시간 예측 분야에서 최고 수준의 성능을 이끌어낸다는 것을 입증한다.