[논문 리뷰] Algorithm Selection for Combinatorial Search Problems: A Survey

Lars Kotthoff|arXiv (Cornell University)|2012. 10. 30.

Algorithms and Data Compression참고 문헌 123인용 수 9

한 줄 요약

이 종합 검토는 조합 검색 문제에 대한 알고리즘 선택에 대해 포괄적인 개요를 제시하며, 핵심 시스템 설계 기준을 기반으로 기존 접근법을 통합한다. 기계 학습을 활용해 문제 특성에 기반해 포트폴리오에서 최고 성능을 내는 알고리즘을 예측함으로써 다양한 조합 검색 문제에서 성능 향상이 크게 이루어진다는 점을 입증한다.

ABSTRACT

The Algorithm Selection Problem is concerned with selecting the best algorithm to solve a given problem on a case-by-case basis. It has become especially relevant in the last decade, as researchers are increasingly investigating how to identify the most suitable existing algorithm for solving a problem instead of developing new algorithms. This survey presents an overview of this work focusing on the contributions made in the area of combinatorial search problems, where Algorithm Selection techniques have achieved significant performance improvements. We unify and organise the vast literature according to criteria that determine Algorithm Selection systems in practice. The comprehensive classification of approaches identifies and analyses the different directions from which Algorithm Selection has been approached. This paper contrasts and compares different methods for solving the problem as well as ways of using these solutions. It closes by identifying directions of current and future research.

연구 동기 및 목표

• 모든 경우에 우세한 단일 알고리즘이 존재하지 않는 조합 검색 문제에서 개별 문제 인스턴스에 가장 효율적인 알고리즘을 선택하는 데 도전하는 것.
• 실제 시스템을 정의하는 핵심 설계 기준을 규명하여, 방대하고 다양한 알고리즘 선택 문헌을 통합하고 체계화하는 것.
• 실제 응용에서 알고리즘 선택 시스템의 모델링, 학습 및 구현 전략을 평가하고 비교하는 것.
• 특히 일반화, 확장성, 모델 해석 가능성 분야에서의 열린 연구 과제와 향후 방향성 식별

제안 방법

• 선택 전략(포트폴리오 대비 단일 알고리즘), 시기(오프라인 대비 온라인), 성능 모델링(포트폴리오 전반 또는 개별 알고리즘 기반), 특성 사용(문제, 알고리즘 또는 런타임 특성)의 네 가지 핵심 기준에 따라 알고리즘 선택 시스템을 분류하는 것.
• 추출된 특성에 기반해 주어진 문제 인스턴스에 대해 가장 잘 작동하는 알고리즘을 예측할 수 있는 성능 모델을 기계 학습으로 학습하는 것.
• 알고리즘 성능과 상관관계가 있는 가장 관련성 있는 문제 특성들을 식별하기 위해 특성 선택 기법을 사용하는 것.
• 정적 포트폴리오(사전 정의된 알고리즘 집합)와 동적 포트폴리오(선택 시점에 조립되는 알고리즘 빌드 블록)를 모두 지원하는 것.
• 실행 중 성능을 모니터링하고 재선택, 재시작 또는 자원 재할당을 유도하는 온라인 선택 전략을 구현하는 것.
• 계속적인 예측을 통해 알고리즘 선택 결정을 정교화하는 계층적 또는 다단계 예측 모델을 적용하는 것.

실험 결과

연구 질문

• RQ1 핵심 설계 결정에 기반해 알고리즘 선택 시스템을 체계적으로 분류할 수 있는가?
• RQ2 문제 특성이 알고리즘 선택 모델의 일반화 및 정확도 향상에 어떤 역할을 하는가?
• RQ3 기계 학습 기반 성능 모델이 수작업으로 작성된 규칙나 간단한 통계 방법보다 얼마나 뛰어나게 성능을 낼 수 있는가?
• RQ4 온라인 및 오프라인 선택 전략은 새로운 문제 인스턴스에 대한 적응성과 성능 측면에서 어떻게 비교되는가?
• RQ5 대규모 포트폴리오와 다양한 조합 검색 문제에 대해 알고리즘 선택을 확장하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• 문제 특성에 기반한 학습된 성능 모델을 활용한 알고리즘 선택은 다양한 조합 검색 문제에서 단일 알고리즘을 사용할 경우보다 뚜렷한 성능 향상을 이끈다.
• 해결 전 또는 도중에 문제에서 추출한 특성을 사용하는 시스템은 제한된 데이터로 훈련된 경우에도 새로운 인스턴스로의 일반화 능력이 뛰어나다.
• 실행 중 성능을 모니터링하고 실행 중에 적응하는 온라인 선택 전략은 특히 동적 또는 예측 불가능한 환경에서 정적 오프라인 선택보다 뛰어난 성능을 보인다.
• 다양하고 상호 보완적인 알고리즘을 사용하는 포트폴리오 기반 접근 방식은 개별 알고리즘 선택보다 일관되게 더 뛰어난 종합 성능을 달성한다.
• 이론적으로 알고리즘 선택 문제는 결정 불가능하지만, 효과적인 특성 공학과 기계 학습을 통해 실용적인 시스템은 거의 최적의 성능을 달성할 수 있다.
• 더 복잡한 모델보다 계산 비용이 낮고 단순한 모델(예: 릿지 회귀)이 예측 성능 향상에 비해 계산 비용을 감당할 수 있을 정도로 유사한 성능을 보이므로, 이는 예측 성능 향상이 계산 비용을 상쇄하지 못할 경우에도 사용할 만하다.