[논문 리뷰] Automated Algorithm Selection: Survey and Perspectives

Pascal Kerschke, Holger H. Hoos외 2명|arXiv (Cornell University)|2018. 11. 28.

Constraint Satisfaction and Optimization참고 문헌 48인용 수 6

한 줄 요약

이 종합적 서베이는 문제 인스턴스의 특성과 기계학습을 이용해 주어진 문제 인스턴스에 가장 잘 맞는 알고리즘을 선택하는 기술인 자동 알고리즘 선택에 대한 포괄적인 개요를 제시한다. 이 서베이는 이산 최적화와 연속 최적화를 포함하며, 알고리즘 선택을 구성(configuration) 및 포트폴리오 방법과 연관지으며, 복잡한 문제 영역에서 성능과 확장성 향상을 위한 핵심 과제와 향후 방향성을 규명한다.

ABSTRACT

It has long been observed that for practically any computational problem that has been intensely studied, different instances are best solved using different algorithms. This is particularly pronounced for computationally hard problems, where in most cases, no single algorithm defines the state of the art; instead, there is a set of algorithms with complementary strengths. This performance complementarity can be exploited in various ways, one of which is based on the idea of selecting, from a set of given algorithms, for each problem instance to be solved the one expected to perform best. The task of automatically selecting an algorithm from a given set is known as the per-instance algorithm selection problem and has been intensely studied over the past 15 years, leading to major improvements in the state of the art in solving a growing number of discrete combinatorial problems, including propositional satisfiability and AI planning. Per-instance algorithm selection also shows much promise for boosting performance in solving continuous and mixed discrete/continuous optimisation problems. This survey provides an overview of research in automated algorithm selection, ranging from early and seminal works to recent and promising application areas. Different from earlier work, it covers applications to discrete and continuous problems, and discusses algorithm selection in context with conceptually related approaches, such as algorithm configuration, scheduling or portfolio selection. Since informative and cheaply computable problem instance features provide the basis for effective per-instance algorithm selection systems, we also provide an overview of such features for discrete and continuous problems. Finally, we provide perspectives on future work in the area and discuss a number of open research challenges.

연구 동기 및 목표

• 기초 연구부터 최근의 진전에 이르기까지 자동 알고리즘 선택 연구에 대한 통합적이고 최신의 개요를 제공하기 위해.
• 알고리즘 선택, 알고리즘 구성, 스케줄링, 포트폴리오 방법 간의 개념적 차이를 명확히 하여 문헌 내에서의 혼동을 줄이기 위해.
• 이산 및 연속 최적화 문제 모두에 대해 정보성 있고 계산적으로 저비용인 문제 인스턴스 특성들을 식별하고 검토하기 위해.
• 기계학습과 메타학습이 개별 인스턴스에 맞는 알고리즘 선택을 가능하게 하는 역할을 하며, 다른 최적화 기법과의 통합을 논의하기 위해.
• 개방된 과제와 향후 연구 방향을 요약하기 위해, 특히 특성 공학, 확장성, 구성기용 메타알고리즘 선택을 포함하여.

제안 방법

• 조합 최적화 및 연속 최적화 분야의 시초적이고 최근의 연구를 포함해 15년 이상의 자동 알고리즘 선택 연구를 체계적으로 서베이한다.
• 알고리즘 구성, 알고리즘 스케줄링, 병렬 포트폴리오와 같은 관련 접근법을 분류하고 비교하여 그 차이점과 겹침을 명확히 한다.
• 문제 인스턴스를 위한 특성 공학 기법을 검토한다. 이는 탐색적 경계 분석과 모니터링 기반 특성 등을 포함하여 효과적인 알고리즘 선택을 지원한다.
• ASLib, ACLib, HPOlib와 같은 벤치마크 플랫폼을 분석하여 표준화된 환경에서 알고리즘 선택 방법을 평가하고 비교한다.
• 특정 상황에 가장 적합한 알고리즘 선택 전략을 동적으로 선택하기 위해 메타학습과 메타알고리즘 선택의 활용을 제안한다.
• 실제 응용 사례(예: SAT, TSP, QBF, BBOB, UCI 데이터셋)에서의 경험적 증거를 평가하여 특성 집합과 선택 모델의 효과성을 평가한다.

실험 결과

연구 질문

• RQ1 다양한 문제 인스턴스에서 솔루션 효율성을 향상시키기 위해 알고리즘 간 성능 보완성은 어떻게 활용될 수 있는가?
• RQ2 이산 및 연속 최적화에서 알고리즘 선택을 안내하는 데 있어 가장 정보성 있고 계산적으로 효율적인 문제 인스턴스 특성의 유형은 무엇인가?
• RQ3 성능와 확장성 측면에서 알고리즘 선택 기법은 알고리즘 구성 및 포트폴리오 기반 접근법과 어떻게 비교될 수 있는가?
• RQ4 기존 연속 최적화 벤치마크가 문제 인스턴스 공간의 전반을 얼마나 커버하고 있으며, 이는 알고리즘 선택의 일반화에 어떤 영향을 미치는가?
• RQ5 메타알고리즘 선택—즉, 가장 좋은 알고리즘 선택 전략 자체를 선택하는 것—은 훈련 데이터가 제한된 동적 또는 데이터가 부족한 환경에서 성능과 적응성을 향상시킬 수 있는가?

주요 결과

• NP-난이도 문제와 연속 최적화 문제 전반에 걸쳐 성능 보완성이 널리 존재하므로, 개별 인스턴스 기반 알고리즘 선택의 필요성이 타당하다.
• QBF 솔버 선택 사례에서 Hoos 등(2018)이 보여준 바와 같이, 단순하고 계산 비용이 낮은 특성도 높은 성능을 달성할 수 있으며, 이는 특성 효율성이 달성 가능함을 시사한다.
• BBOB 및 UCI 데이터셋과 같은 기존 연속 최적화 벤치마크는 문제 인스턴스 공간의 일부 영역만 커버하고 있어, 알고리즘 선택 모델의 일반화 능력에 제한을 초래한다.
• SATzilla 및 AutoFolio와 같은 알고리즘 선택 시스템은 SAT 및 TSP 분야에서 최신 기술 수준을 크게 향상시켜 실용적 영향을 입증했다.
• ASLib, ACLib, HPOlib와 같은 벤치마크 라이브러리는 공정한 비교와 재현 가능성을 위해 필수적이지만, 다목적 및 실제 문제를 포함하기 위해 지속적인 유지보수와 확장이 필요하다.
• 메타알고리즘 선택—즉, 알고리즘 선택을 통해 가장 적합한 선택 전략을 고르는 것—은 특히 훈련 데이터가 제한된 환경에서 다양한 응용 맥락을 다루는 데 있어 잠재력이 있다.