[논문 리뷰] A Bayesian Approach to Tackling Hard Computational Problems

Eric Horvitz, Yongshao Ruan외 4명|arXiv (Cornell University)|2013. 01. 10.

Bayesian Modeling and Causal Inference참고 문헌 25인용 수 115

한 줄 요약

이 논문은 초기 검색 행동을 바탕으로 해결 시간을 예측하기 위해 베이지안 모델링을 사용하는 백트래킹 검색 알고리즘을 위한 동적 리스타트 전략을 제안한다. 관측된 검색 패턴을 기반으로 학습함으로써, 딱정된 커프오프 전략보다 경미한 변동성을 줄이고 딱정된 제약 만족 문제에서 효율성을 향상시킨다.

ABSTRACT

We are developing a general framework for using learned Bayesian models for decision-theoretic control of search and reasoningalgorithms. We illustrate the approach on the specific task of controlling both general and domain-specific solvers on a hard class of structured constraint satisfaction problems. A successful strategyfor reducing the high (and even infinite) variance in running time typically exhibited by backtracking search algorithms is to cut off and restart the search if a solution is not found within a certainamount of time. Previous work on restart strategies have employed fixed cut off values. We show how to create a dynamic cut off strategy by learning a Bayesian model that predicts the ultimate length of a trial based on observing the early behavior of the search algorithm. Furthermore, we describe the general conditions under which a dynamic restart strategy can outperform the theoretically optimal fixed strategy.

연구 동기 및 목표

• 딱정된 계산 문제에서 백트래킹 검색 알고리즘의 실행 시간 변동성을 해결한다.
• 문제 특성에 적응하지 않는 고정 커프오프 리스타트 전략의 한계를 극복한다.
• 학습된 베이지안 모델을 사용하여 검색 및 추론에 대한 의사결정 이론적 제어의 일반적 프레임워크를 개발한다.
• 실시간 검색 관측치를 기반으로 리스타트 임계값을 동적으로 조정하여 솔버 효율성을 향상시킨다.
• 특정 조건 하에서 동적 전략이 이론적으로 최적의 고정 전략을 능가할 수 있음을 입증한다.

제안 방법

• 초기 검색 행동(예: 초기 백트래킹 패턴)을 바탕으로 검색 시도의 총 실행 시간을 예측하는 베이지안 모델을 구축한다.
• 이전 검색 시도에서 관측된 데이터를 사용하여 초기 실행 시간 관측치를 기반으로 한 해결 시간에 대한 사후 분포를 학습한다.
• 의사결정 이론 원리를 적용하여 기대 검색 시간을 최소화하는 리스타트 커프오프를 선택한다.
• 일반적 및 도메인 특화 솔버에 베이지안 모델을 통합하여 검색 실행의 적응형 제어를 실현한다.
• 지수 분포의 기억이 없는 성질을 활용하여 실행 시간 행동을 모델링하고 동적 커프오프 결정에 정보를 제공한다.
• 리스타트 비용과 기대 해결 시간 단축 간의 균형을 고려하여 리스타트 정책을 최적화한다.

실험 결과

연구 질문

• RQ1 초기 검색 행동을 바탕으로 베이지안 모델이 검색 시도의 최종 해결 시간을 효과적으로 예측할 수 있는가?
• RQ2 어떤 조건에서 동적 리스타트 전략이 이론적으로 최적의 고정 리스타트 전략을 능가하는가?
• RQ3 학습된 베이지안 모델은 딱정된 제약 만족 문제에서 백트래킹 검색의 효율성을 어떻게 향상시킬 수 있는가?
• RQ4 적응형 리스타트 정책은 다양한 문제 인스턴스에서 변동성 감소와 평균 해결 시간에 어떤 영향을 미치는가?
• RQ5 베이지안 추론의 통합은 검색 알고리즘 제어의 의사결정 과정을 어떻게 향상시키는가?

주요 결과

• 베이지안 예측에 기반한 동적 리스타트 전략은 고정 커프오프 방법에 비해 해결 시간의 변동성을 크게 줄였다.
• 문제의 딱정성에 따라 인스턴스 간 변동이 큰 상황에서 제안된 방법이 이론적으로 최적의 고정 전략을 능가했다.
• 초기 검색 행동을 기반으로 한 학습은 해결 시간의 정확한 예측을 가능하게 하여 적절한 시점의 효과적인 리스타트 결정을 가능하게 했다.
• 베이지안 프레임워크는 다양한 문제 구조에 적응하여 다양한 제약 만족 문제에서 솔버 성능을 향상시켰다.
• 실험 결과에 따르면 동적 리스타트는 딱정하고 구조화된 문제 인스턴스에서 특히 더 빠른 평균 해결 시간을 제공했다.
• 일반적 및 도메인 특화 솔버 모두에서 이 방법은 강건성과 확장성을 입증하여 일반 적용 가능성의 타당성을 입증했다.