[논문 리뷰] A New Approach to Constraint Weight Learning for Variable Ordering in CSPs

Muhammad Rezaul Karim|arXiv (Cornell University)|2013. 12. 25.

Constraint Satisfaction and Optimization참고 문헌 22인용 수 5

한 줄 요약

이 논문은 제약 만족 문제(CSPs)에서 변수 순서 정책을 위한 제약 가중치를 학습하기 위해 경쟁적 공진화 유전 알고리즘(CoEvoGA)을 제안한다. 이는 전역적인 병목 현상을 식별함으로써 검색 효율성을 향상시킨다. 이 방법은 제약 조건과 후보 해를 함께 진화시켜, 준무작위 및 강제로 만족 가능한 Model RB 인스턴스에서 기존 방법들을 능가하며, 특히 검색 노드 수를 줄이고 안정성을 유지한다.

ABSTRACT

A Constraint Satisfaction Problem (CSP) is a framework used for modeling and solving constrained problems. Tree-search algorithms like backtracking try to construct a solution to a CSP by selecting the variables of the problem one after another. The order in which these algorithm select the variables potentially have significant impact on the search performance. Various heuristics have been proposed for choosing good variable ordering. Many powerful variable ordering heuristics weigh the constraints first and then utilize the weights for selecting good order of the variables. Constraint weighting are basically employed to identify global bottlenecks in a CSP. In this paper, we propose a new approach for learning weights for the constraints using competitive coevolutionary Genetic Algorithm (GA). Weights learned by the coevolutionary GA later help to make better choices for the first few variables in a search. In the competitive coevolutionary GA, constraints and candidate solutions for a CSP evolve together through an inverse fitness interaction process. We have conducted experiments on several random, quasi-random and patterned instances to measure the efficiency of the proposed approach. The results and analysis show that the proposed approach is good at learning weights to distinguish the hard constraints for quasi-random instances and forced satisfiable random instances generated with the Model RB. For other type of instances, RNDI still seems to be the best approach as our experiments show.

연구 동기 및 목표

• CSPs에서 효과적인 변수 순서 정책 히우리스틱을 선택하는 데 도전하는 것. 이는 검색 효율성에 큰 영향을 미친다.
• 자동화된 가중치 학습을 통해 CSPs에서 딱딱한 제약 조건과 전역 병목 현상을 더 잘 식별하는 것.
• 제약 조건과 해를 함께 진화시켜 의미 있는 제약 가중치를 학습하는 공진화 유전 알고리즘을 개발하는 것.
• 다양한 유형의 CSP 인스턴스에서 기존 변수 순서 정책 접근법과 제안된 방법을 비교 평가하는 것.
• 공진화 가중치 학습 과정의 확장성과 파라미터 민감도를 탐색하는 것.

제안 방법

• 경쟁적 공진화 유전 알고리즘(CoEvoGA)을 사용하며, 두 개의 집단인 제약 조건과 후보 해가 반대의 적합도 상호작용을 통해 공진화된다.
• 적합도는 제약 가중치와 해 품질 간의 상호작용에 의해 결정되며, 제약 조건은 만족하기가 더 어려워지도록 진화한다.
• 반복적인 진화를 통해 제약 가중치를 학습하며, 문제에서 가장 제약이 강한 제약 조건을 식별하는 것이 목표이다.
• 학습된 가중치는 막대한 일관성(MAC)을 갖춘 백트래킹 검색에서 변수 순서를 안내하며, 고가중치 제약 조건과 연결된 변수를 우선순위로 삼는다.
• 실험은 고정된 집단 크기와 표준 유전 알고리즘 연산자(교차, 변이)를 사용하며, 세대 수와 재시작 횟수에 대한 파라미터 튜닝을 수행한다.
• 성능 평가는 랜덤, 준무작위, 패턴형 카테고리의 30개 인스턴스에서 CPU 시간(t)과 방문한 노드 수(n)를 기준으로 한다.

실험 결과

연구 질문

• RQ1 공진화 유전 알고리즘이 CSPs에서 전역 병목 현상을 식별하는 데 효과적인 제약 가중치를 학습할 수 있는가?
• RQ2 제안된 CoEvoGA/MAC 방법은 RNDI 및 HC/MAC에 비해 검색 효율성과 안정성 측면에서 어떻게 비교되는가?
• RQ3 랜덤, 준무작위, 패턴형, 또는 Model RB 유형의 CSP 인스턴스 중에서 CoEvoGA/MAC 방법이 뛰어난 성능을 보이는 유형은 무엇인가?
• RQ4 세대 수와 재시작 횟수와 같은 파라미터 설정이 가중치 학습 시간과 전체 검색 성능에 어떻게 영향을 미치는가?
• RQ5 RNDI의 순차적 재시작과 달리, 공진화 유전 알고리즘의 적합도 평가를 병렬화하여 학습 시간을 줄일 수 있는가?

주요 결과

• CoEvoGA/MAC 방법은 준무작위 및 강제로 만족 가능한 Model RB 인스턴스에서 방문한 노드 수(n)를 크게 줄였다. 예를 들어, bqwh-18-141-47에서 RNDI는 55,972개의 노드를 방문했지만 CoEvoGA는 67,686개를 방문했다.
• bqwh-18-141-50 인스턴스에서는 CoEvoGA/MAC가 27,964개의 노드를 방문한 데 비해 RNDI는 9,350개를 방문했으며, CPU 시간은 110.2초 대비 49.88초로 더 소요되었다.
• qcp-15-120-2와 같은 패턴형 인스턴스에서는 RNDI가 시간(284.53초 대비 374.36초)과 노드 수(28,695 대비 46,121) 모두에서 CoEvoGA/MAC를 앞섰다.
• 통계적 검정 결과, CoEvoGA/MAC와 RNDI 사이에 여러 인스턴스에서 유의미한 차이가 있었으며, 특히 bqwh-18-141-50에서 p값 0.340(*) 및 0.224(*)가 확인되었다.
• HC/MAC는 불안정성을 보였으며, 일부 패턴형 인스턴스에서 시간 초과를 경험했지만, CoEvoGA/MAC는 모든 인스턴스 유형에서 일관된 성능을 유지했다.
• RNDI의 본질적으로 순차적인 재시작과 달리, CoEvoGA의 사전 처리 시간은 적합도 평가의 병렬화를 통해 줄일 수 있다.