[논문 리뷰] Machine learning for constraint solver design -- A case study for the alldifferent constraint

Ian P. Gent, Lars Kotthoff외 2명|arXiv (Cornell University)|2010. 08. 25.

Constraint Satisfaction and Optimization참고 문헌 27인용 수 10

한 줄 요약

이 논문은 문제 특성에 기반해 제약 충족 솔버에서 alldifferent 제약 조건의 최적 구현을 자동으로 선택하기 위해 기계 학습을 적용한다. 메타-분류기 모델은 문제 특성에 기반해 기본 설정보다 뛰어난 성능을 내며, 어려운 벤치마크에서 평균 5초의 속도 향상을 달성한다. 이는 특성 계산 오버헤드를 고려한 결과이다.

ABSTRACT

Constraint solvers are complex pieces of software which require many design decisions to be made by the implementer based on limited information. These decisions affect the performance of the finished solver significantly. Once a design decision has been made, it cannot easily be reversed, although a different decision may be more appropriate for a particular problem. We investigate using machine learning to make these decisions automatically depending on the problem to solve. We use the alldifferent constraint as a case study. Our system is capable of making non-trivial, multi-level decisions that improve over always making a default choice and can be implemented as part of a general-purpose constraint solver.

연구 동기 및 목표

• 제약 충족 솔버 구현에서 복잡한 설계 결정을 자동화하여 전문가의 직관에 의존하는 것을 줄이기 위해.
• 문제 인스턴스의 특성에 따라 동적으로 alldifferent 제약 조건의 최적 구현을 선택하여 솔버 성능을 향상시키기 위해.
• 기계 학습 기반 접근이 다양한 문제 인스턴스에서 기본 설정보다 뛰어난 성능을 내는지 평가하기 위해.
• 성능에 큰 오버헤드 없이도 신속하고 정확한 결정을 내릴 수 있도록 비용 효율적인 특성들을 식별하기 위해.

제안 방법

• 시스템은 다양한 문제 인스턴스에 기반해 훈련된 메타-분류기를 사용하여 alldifferent 제약 조건의 다양한 구현 방식 중에서 선택한다.
• 문제 인스턴스에서 특성들을 추출하며, 이는 간선 밀도 및 변수-도메인 관계와 같은 원시 그래프 성질을 포함한다.
• 단일 모델보다 더 뛰어난 내구성과 성능을 확보하기 위해 여러 기반 분류기의 조합을 사용한다.
• 성능 평가를 위해 두 가지 벤치마크 세트를 사용한다: 어려운 인스턴스로 구성된 세트와 더 쉽게 풀 수 있는 빠른 문제들로 구성된 세트.
• 비용이 높은 특성들을 제거하여 특성 계산 비용을 최소화하며, 높은 분류 정확도를 유지하는 특성들만 유지한다.
• 시스템은 특성 계산 오버헤드를 포함한 기본 설정과의 성능 비교를 통해 평가된다.

실험 결과

연구 질문

• RQ1 기계 학습을 통해 alldifferent 제약 조건의 제약 충족 솔버 구현 방식 선택을 효과적으로 자동화할 수 있는가?
• RQ2 다양한 문제 인스턴스에서 학습된 메타-분류기의 성능은 기본 설정과 비교해 어떻게 다른가?
• RQ3 특성 계산 비용이 기계 학습 접근의 총 성능 향상에 어떤 영향을 미치는가?
• RQ4 저비용 특성의 축소된 세트는 높은 분류 정확도를 유지하면서 더 신속한 결정을 내릴 수 있는가?
• RQ5 학습된 시스템은 새로운, 알려지지 않은 문제 인스턴스로도 잘 일반화되는가?

주요 결과

• 첫 번째 벤치마크 세트에서 메타-분류기는 특성 계산 시간을 고려한 후에도 평균 각 인스턴스당 5초의 속도 향상을 달성한다.
• 첫 번째 인스턴스 세트에서 시스템은 기본 설정 대비 평균 8초 빠르게 각 인스턴스를 해결한다.
• 비용이 높은 특성들을 제거함으로써 특성 계산 시간을 약 3초로 줄였고, 성능 손실는 최소한으로 유지했다.
• 시스템은 성능 향상이 크게 기대되는 어려운 인스턴스를 정확히 식별하며, 간단한 케이스에서는 성능 저하를 피한다.
• 통합 분류기는 집합 내 최고의 개별 분류기와 거의 유사한 성능을 보이며, 최악의 분류기보다는 훨씬 뛰어난 성능을 보였다.
• 시스템은 강력한 일반화 능력을 보이며, 훈련 세트 외부의 새로운, 알려지지 않은 문제 인스턴스에서도 효과를 발휘했다.