[논문 리뷰] Procrastinating with Confidence: Near-Optimal, Anytime, Adaptive Algorithm Configuration

Robert Kleinberg, Kevin Leyton‐Brown외 2명|arXiv (Cornell University)|2019. 02. 14.

Advanced Bandit Algorithms Research참고 문헌 36인용 수 5

한 줄 요약

이 논문은 신뢰구간을 기반으로 동적으로 샘플링을 줄이며 근사 최적 성능 보장을 유지하는 anytime, 적응형 알고리즘 설정 방법인 구조적 지연과 신뢰도(SPC)를 소개한다. SPC는 사전에 정해진 $\epsilon$ 및 $\delta$ 값을 필요로 하지 않으며, 양호한 설정에서의 조기 수렴을 가능하게 하여, 이전 방법들인 LeapsAndBounds보다 실질적으로 더 빠르게 고성능 해답을 발견한다.

ABSTRACT

Algorithm configuration methods optimize the performance of a parameterized heuristic algorithm on a given distribution of problem instances. Recent work introduced an algorithm configuration procedure ("Structured Procrastination") that provably achieves near optimal performance with high probability and with nearly minimal runtime in the worst case. It also offers an $ extit{anytime}$ property: it keeps tightening its optimality guarantees the longer it is run. Unfortunately, Structured Procrastination is not $ extit{adaptive}$ to characteristics of the parameterized algorithm: it treats every input like the worst case. Follow-up work ("LeapsAndBounds") achieves adaptivity but trades away the anytime property. This paper introduces a new algorithm, "Structured Procrastination with Confidence", that preserves the near-optimality and anytime properties of Structured Procrastination while adding adaptivity. In particular, the new algorithm will perform dramatically faster in settings where many algorithm configurations perform poorly. We show empirically both that such settings arise frequently in practice and that the anytime property is useful for finding good configurations quickly.

연구 동기 및 목표

• 모든 설정을 최악의 경우로 간주하여 실질적으로 느린 성능을 보이는 구조적 지연(SP)의 한계를 해결하기 위해.
• 고정된 $\\epsilon$ 및 $\\delta$ 입력이 필요하고 조기 종료 또는 낭비된 계산 리소스의 위험이 있는 LeapsAndBounds(LB)의 anytime 성격이 없는 문제를 해결하기 위해.
• SP의 anytime 성질과 LB의 적응성의 장점을 결합하여, 일부 설정이 명백히 열악한 경우에 더 빠른 수렴을 가능하게 하는 방법을 설계하기 위해.
• anytime 성질이 고정된 $\\epsilon$/$\\delta$ 방법과 비교해, 고성능 설정을 얼마나 빨리 발견할 수 있는지 실증적으로 검증하기 위해.

제안 방법

• SPC는 새로운 하한 신뢰구간(LCB)을 사용하여 샘플링 대상 설정을 선택하며, 잠재적으로 열악한 설정을 조기에 거부할 수 있도록 한다.
• 알고리즘은 설정의 실행 시간에 대한 신뢰구간을 유지하고, 분산 및 평균 추정치에 기반해 동적으로 샘플링 횟수를 조정하여 불필요한 계산을 줄인다.
• SPC는 anytime 설계를 갖추고 있다: 사용자는 언제든지 알고리즘을 중단해도 높은 확률로 유효한 $(\epsilon,\delta)$-최적 설정을 얻을 수 있다.
• 설정의 분산이 크거나 평균 실행 시간이 낮은 경우에 더 적은 샘플을 요구함으로써 문제의 구조에 적응하여, 간단한 케이스에서는 전체 실행 시간을 줄인다.
• 알고리즘은 $\text{OPT}^\gamma \cdot \frac{1}{\gamma}$ 배의 실행 시간을 보장하며, 로그 요소를 제외한 상수 요소까지 고려할 경우, $(\epsilon,\delta)$-서브최적 설정을 식별하는 데 필요한 평균 시간에 비례한다.
• SPC는 하한 신뢰구간이 최고의 상한 신뢰구간과 가까운 설정을 우선순위로 삼는, 보상과 탐색의 균형을 이루는 신뢰기반 탐색 전략을 사용한다.

실험 결과

연구 질문

• RQ1 알고리즘 설정 방법이 구조적 지연의 anytime 성질을 유지하면서도 설정 성능 특성에 적응할 수 있는가?
• RQ2 샘플 평균 대신 하한 신뢰구간을 선택 기준으로 사용할 경우, 쉽게 기각 가능한 열악한 설정이 존재하는 실질적 환경에서 수렴 속도가 향상되는가?
• RQ3 SPC의 anytime 성질은 고정된 $\\epsilon$/$\\delta$ 방법(예: LeapsAndBounds)과 비교해 좋은 설정을 얼마나 빨리 발견하는가?
• RQ4 대부분의 설정이 최적에 비해 현저히 열악한 환경에서, SPC는 비적응형 또는 비-anytime 대안 대비 총 실행 시간을 얼마나 줄이는가?

주요 결과

• SPC는 약 10개의 CPU 일 이내에 모든 설정 중 상위 1퍼센트 이내의 설정을 발견했으며, LeapsAndBounds는 어떤 $\epsilon$,$\delta$ 조합이든 최소 100 CPU 일 이상이 소요되었다.
• 약 100 CPU 일 후, SPC는 LeapsAndBounds가 발견한 최고 수준의 해답과 유사한 해답을 도출했고, 525 CPU 일에는 데이터셋의 진정한 최적 설정에 수렴하는 방향으로 계속 개선되었다.
• LeapsAndBounds에서 다양한 $\epsilon$,$\delta$ 조합은 동일한 설정을 반환했지만, 실행 시간은 극명하게 달라졌으며, 이는 파rameter 조정의 어려움을 보여준다.
• SPC의 anytime 성질 덕분에, 사용자는 $\epsilon$ 및 $\delta$를 사전에 설정하지 않아도 빠르게 양호한 설정을 확보할 수 있었으며, 낭비된 계산 리소스나 조기 종료의 위험을 피할 수 있었다.
• 많은 설정이 명백히 열악한 환경에서는 SPC의 적응형 샘플링 전략이 비적응형 방법(예: SP)보다 총 실행 시간을 크게 줄였다.
• 실증 결과는 SPC의 신뢰기반 선택 전략이 실질적으로 더 빠른 수렴을 가능하게 하며, 실제 알고리즘 설정에서 흔히 발생하는 최악의 경우가 아닌 상황에서 특히 유리하다는 것을 보여준다.