[논문 리뷰] Learning Robust Search Strategies Using a Bandit-Based Approach

Wei Xia, Roland H. C. Yap|arXiv (Cornell University)|2018. 05. 10.

Scheduling and Timetabling Solutions인용 수 8

한 줄 요약

이 논문은 제약 만족 문제(CSP) 해결 중 다수의 변수 순서 결정 히ュ리스틱 간 자동 선택을 위해 밴딧 기반 온라인 학습 방법을 제안한다. 히ュ리스틱 선택을 다중 손잡이 밴딧 문제로 모델링하고, 검색 실패로부터의 보상 피드백을 사용하여 UCB1 및 톰슨 샘플링을 적용함으로써, 문제 구조에 동적으로 적응하여 다양한 CSP 벤치마크에서 개별 히ュ리스틱보다 더 견고하고 종종 더 빠른 성능을 달성한다.

ABSTRACT

Effective solving of constraint problems often requires choosing good or specific search heuristics. However, choosing or designing a good search heuristic is non-trivial and is often a manual process. In this paper, rather than manually choosing/designing search heuristics, we propose the use of bandit-based learning techniques to automatically select search heuristics. Our approach is online where the solver learns and selects from a set of heuristics during search. The goal is to obtain automatic search heuristics which give robust performance. Preliminary experiments show that our adaptive technique is more robust than the original search heuristics. It can also outperform the original heuristics.

연구 동기 및 목표

• 제약 만족 문제(CSP)에 대해 효과적인 검색 히ュ리스틱을 수동으로 선택하거나 설계하는 데 드는 시간과 문제에 따라 달라지는 문제를 해결하기 위해.
• 단일 고정 히ュ리스틱에 의존하는 것 대신, 검색 중에 다수의 기존 히ュ리스틱 중에서 선택할 수 있는 온라인 및 적응형 학습 메커니즘을 개발하기 위해.
• 실시간으로 검색 피드백을 학습함으로써 다양한 CSP 문제 인스턴스 전반에서 솔버의 견고성과 성능을 향상시키기 위해.
• 전문가의 튜닝이 필요 없도록, 실행 중에 최적의 히ュ리스틱 전략을 자동으로 결정할 수 있도록 하기 위해.

제안 방법

• 각 히ュ리스틱을 선택할 수 있는 '팔'로 간주하여 변수 순서 결정 히ュ리스틱 선택을 다중 손잡이 밴딧(MAB) 문제로 모델링하기.
• 검색 중 히ュ리스틱 선택에서 탐색과 이용의 균형을 이루기 위해 UCB1 및 톰슨 샘플링 알고리즘을 사용하기.
• 검색 성능 기반의 보상 함수 정의: 노드에서의 실패는 그 실패로 이르게 한 히ュ리스틱 선택에 대해 보상으로 간주하여 향후 선택을 안내하기.
• 오프라인 학습이나 레이블이 부여된 예제가 필요 없이, 해결 과정 중에 피드백을 온라인으로 수집함으로써 실시간 적응에 적합한 방법이 되도록 하기.
• CP 솔버 내부에 MAB 기반의 히ュ리스틱 선택기 통합하여, 각 검색 노드에서 후보 히ュ리스틱(예: ddeg/dom, wdeg/dom, activity, impact, corr) 간에 동적으로 전환하기.
• 비이진 CSP 벤치마크에서의 성능 평가를 통해 개별 히ュ리스틱 및 무작위 기준과 비교하기.

실험 결과

연구 질문

• RQ1 밴딧 기반 온라인 학습 방법이 다양한 CSP 인스턴스에 걸쳐 변수 순서 결정 히ュ리스틱을 동적으로 선택하여 견고성을 향상시킬 수 있는가?
• RQ2 MAB 기반의 히ュ리스틱 선택 성능은 문제 유형 전반에서 해결 시간과 분산 측면에서 개별 히ュ리스틱과 비교해 어떻게 되는가?
• RQ3 적응형 선택 메커니즘이 지수적 성능 저하를 초래할 수 있는 열악한 히ュ리스틱 선택의 위험을 줄이는가?
• RQ4 MAB 프레임워크 내에서 히ュ리스틱 사용 빈도는 문제 해결 행동과 성능과 어떻게 관련이 있는가?

주요 결과

• UCB1 및 톰슨 샘플링을 사용한 MAB 기반 히ュ리스틱은 개별 히ュ리스틱에 비해 다양한 문제 유형 간 성능 변동을 크게 줄여 더 높은 견고성을 입증하였다.
• 많은 문제 인스턴스에서 MAB 기반 방법은 최고의 개별 히ュ리스틱을 뛰어넘어 더 짧은 해결 시간과 더 적은 탐색된 노드 수를 달성하였다.
• BIBD 인스턴스의 경우, 활동 히ュ리스틱은 개별적으로 가장 성능이 열악했지만, UCB1 및 톰슨 샘플링에 의해 가장 자주 선택되었으며, 이는 적응형 학습이 그 히ュ리스틱의 맥락에 따라 유리한 사용 가능성을 식별했다는 것을 시사한다.
• 순차적 PSS(sPSS) 기준은 MAB 방법에 비해 훨씬 느렸으며, rand3-20-20-1에서 총 507K개의 검색 노드를 탐색한 데 반해 MAB-UCB1은 73K개에 그쳤다. 이는 모든 부분 문제를 순차적으로 해결함으로써 발생하는 높은 오버헤드 때문이었다.
• sPSS의 총 런타임은 ruler-34-9-a4에서 116.8초였고, MAB-UCB1은 6.9초였으며, 이는 sPSS가 충분한 병렬 처리 없이 효율성이 떨어짐을 보여준다.
• sPSS의 성능은 분해 전략에 매우 민감하여, MAB 기반 접근에 비해 견고성이 낮음을 시사한다.