[논문 리뷰] LeapsAndBounds: A Method for Approximately Optimal Algorithm Configuration

Gellért Weisz, András György외 1명|arXiv (Cornell University)|2018. 07. 02.

Machine Learning and Data Classification참고 문헌 5인용 수 8

한 줄 요약

LeapsAndBounds는 경험적 버지너스 정지 기법을 사용하여 구성과 문제 인스턴스 간 런타임을 동적으로 할당하는 근사 최적 알고리즘 구성의 새로운 알고리즘이다. 이는 이론적 worst-case 런타임 경계를 Structured Procrastination보다 더 날카롭게 하면서도 실제로는 총 실행 시간을 크게 줄여주며, 특히 런타임 재시작 기능을 지원할 경우 두드러진 성능 향상을 보인다.

ABSTRACT

We consider the problem of configuring general-purpose solvers to run efficiently on problem instances drawn from an unknown distribution. The goal of the configurator is to find a configuration that runs fast on average on most instances, and do so with the least amount of total work. It can run a chosen solver on a random instance until the solver finishes or a timeout is reached. We propose LeapsAndBounds, an algorithm that tests configurations on randomly selected problem instances for longer and longer time. We prove that the capped expected runtime of the configuration returned by LeapsAndBounds is close to the optimal expected runtime, while our algorithm's running time is near-optimal. Our results show that LeapsAndBounds is more efficient than the recent algorithm of Kleinberg et al. (2017), which, to our knowledge, is the only other algorithm configuration method with non-trivial theoretical guarantees. Experimental results on configuring a public SAT solver on a new benchmark dataset also stand witness to the superiority of our method.

연구 동기 및 목표

• 알고리즘의 분포가 알려져 있지 않은 문제 인스턴스에서 근사 최적의 솔버 구성 설정을 찾는 문제에 대응한다.
• 최적의 런타임에 가까운 예측 런타임을 갖는 구성 설정을 반환하면서도 총 검색 시간을 최소화한다.
• 선택된 구성 설정의 품질과 검색 과정의 총 런타임에 이론적 보장을 제공한다.
• 이론적 worst-case 경계와 실용적 효율성 측면에서 Structured Procrastination과 같은 기존 방법들을 능가한다.

제안 방법

• LeapsAndBounds는 기본 런타임 $ \kappa_0 $ 로 시작하여 점차 증가하는 시간 제한을 갖는 무작위로 샘플된 문제 인스턴스에서 구성 설정을 테스트한다.
• 경험적 버지너스 정지 기법을 활용해 평균 런타임 추정치에 충분한 신뢰도가 확보되었을 경우 런타임 측정을 조기에 종료한다.
• 알고리즘은 단계를 거치며 각 단계에서 시간 예산 $ \theta_k $ 를 두 배로 늘리며, 각 구성 설정은 단계별 예산까지 여러 인스턴스에서 테스트된다.
• 구성 설정의 런타임에 대한 신뢰 구간을 유지하고 이를 바탕으로 느린 구성 설정은 조기에 제거하면서 빠른 구성 설정은 추가 평가를 위해 유지한다.
• 분산 추정치에 기반해 구성 설정과 인스턴스당 실행 횟수를 동적으로 조정하며, 런타임 분산이 낮은 구성 설정을 우선시한다.
• 재시작 및 재개 세미틱스를 모두 지원하며, 재개 기능이 가능할 경우 중복 계산을 줄여 성능 향상을 이룬다.

실험 결과

연구 질문

• RQ1 기존 방법보다 더 날카운 이론적 worst-case 런타임 경계를 확보하면서도 이론적 보장이 있는 알고리즘 구성 알고리즘을 설계할 수 있는가?
• RQ2 경험적 버지너스 정지 기법의 사용이 고정 시간 또는 히우리스틱 기반 접근 방식에 비해 구성 검색의 효율성을 얼마나 향상시키는가?
• RQ3 구성 설정의 런타임 분산이 인스턴스 간으로 변동할 경우 알고리즘 성능에 어떤 정도의 영향을 미치는가?
• RQ4 특히 비적대적이고 현실적인 환경에서 LeapsAndBounds는 실용적으로 Structured Procrastination를 능가할 수 있는가?
• RQ5 재시작과 재개 실행의 총 검색 시간에 미치는 영향은 무엇이며, 이를 구현 시 어떻게 활용할 수 있는가?

주요 결과

• LeapsAndBounds는 Structured Procrastination보다 더 날카운 worst-case 런타임 경계를 확보하여 구성 검색의 이론적 효율성을 향상시켰다.
• MiniSat SAT 솔버의 구성 실험에서, LeapsAndBounds는 런타임 재개 기능이 없는 경우 총 런타임을 933.50 CPU 일로 줄였고, 재개 기능이 있는 경우 368.50 CPU 일로 줄였다. 반면 Structured Procrastination는 각각 1850.46일과 1169.36일이 소요되었다.
• 경험적 버지너스 정지 기법으로 인해 특히 후속 단계에서 Structured Procrastination보다 훨씬 짧은 시간 동안 각 구성 설정을 실행한다.
• LeapsAndBounds는 Structured Procrastination와 동일한 최적의 구성 설정(898)을 반환하여 결과의 품질이 유사함을 확인했지만, 검색 과정은 훨씬 더 효율적이다.
• 런타임 재개 기능이 지원될 경우 성능 향상이 가장 두드러지며, 부분 결과를 재사용함으로써 중복 계산을 방지한다.
• 이 방법은 매우 병렬 처리가 가능하여 최소한의 조율 오버헤드로 다수의 프로세서에 효율적으로 분산할 수 있다.