[논문 리뷰] Boosting Binary Optimization via Binary Classification: A Case Study of Job Shop Scheduling

Oleg V. Shylo, Hesam Shams|arXiv (Cornell University)|2018. 08. 31.

Metaheuristic Optimization Algorithms Research인용 수 9

한 줄 요약

이 논문은 이진 최적화 문제에서 해 경로를 활용하여 로지스틱 회귀를 통해 최적 해에 속할 가능성이 높은 변수를 학습하는 새로운 프레임워크를 제안한다. 특히 작업 스케줄링 문제에 대한 탭우 검색을 향상시킨다. 각 결정 변수가 최적 해에 속할 확률을 모델링함으로써, 탐색의 집중화 및 다양화를 이끌어내며, 기존의 상한선 개선을 통해 벤치마크 인스턴스에서 성능을 크게 향상시킨다.

ABSTRACT

Many optimization techniques evaluate solutions consecutively, where the next candidate for evaluation is determined by the results of previous evaluations. For example, these include iterative methods, "black box" optimization algorithms, simulated annealing, evolutionary algorithms and tabu search, to name a few. When solving an optimization problem, these algorithms evaluate a large number of solutions, which raises the following question: Is it possible to learn something about the optimum using these solutions? In this paper, we define this "learning" question in terms of a logistic regression model and explore its predictive accuracy computationally. The proposed model uses a collection of solutions to predict the components of the optimal solutions. To illustrate the utility of such predictions, we embed the logistic regression model into the tabu search algorithm for job shop scheduling problem. The resulting framework is simple to implement, yet provides a significant boost to the performance of the standard tabu search.

연구 동기 및 목표

• 반복 최적화 알고리즘에서 생성된 해 경로가 최적 해에 대한 학습 가능한 패턴을 담고 있는지 조사하기.
• 로지스틱 회귀를 사용하여 이진 최적화 문제에서 각 성분의 최적성 확률을 예측하는 기계학습 프레임워크 개발하기.
• 이 예측 모델을 작업 스케줄링 문제에 대한 탭우 검색에 통합하여 계산 성능 향상시키기.
• 최적화 알고리즘 간 비교를 위한 새로운 실험 분석 방법—확률 지배 플롯—제안하기.
• 이 방법이 작업 스케줄링을 넘어 다른 이진 최적화 문제로도 일반화 가능한지 보여주기.

제안 방법

• 탭우 검색에서의 이력 해 샘플을 기반으로 로지스틱 회귀를 사용해 이진 결정 변수가 최적 해에 속할 가능성을 모델링한다.
• 시간 순서대로 정렬된 해 샘플을 반복적으로 업데이트하며, 현재 반복 단계에 따라 매개변수를 조정하여 탐색과 이용의 균형을 이룬다.
• 예측된 확률을 활용해 탭우 검색의 이웃 이동 선택을 높은 최적성 가능성 확률을 가진 변수 쪽으로 유도한다.
• 로지스틱 회귀 모델의 동적 매개변수 업데이트 규칙을 도입하여, 수렴을 조기에 유도하는 것을 방지하기 위해 학습률을 시간의 함수로 정의한다.
• 표준 탭우 검색 알고리즘에 통합하여, 기존의 다양화 및 집중화 전략을 대체하거나 강화한다.
• 반복 단계에서 한 알고리즘이 다른 알고리즘보다 더 좋은 해를 찾을 가능성을 비교하기 위한 새로운 성능 평가 방법—확률 지배 플롯—을 도입한다.

실험 결과

연구 질문

• RQ1 반복 최적화 알고리즘에서 생성된 해 경로를 활용해 이진 변수가 최적 해에 속할 가능성을 학습할 수 있는가?
• RQ2 로지스틱 회귀는 작업 스케줄링과 같은 이진 최적화 문제에서 성분별 최적성 예측을 얼마나 정확하게 수행할 수 있는가?
• RQ3 이러한 예측을 탭우 검색에 통합하면 표준 구현 대비 성능 향상이 상당히 이루어지는가?
• RQ4 로지스틱 회귀 모델의 동적 매개변수 조정이 수렴성과 해 품질에 미치는 영향은 무엇인가?
• RQ5 확률 지배 플롯은 전통적인 성능 지표에 비해 최적화 알고리즘 평가에 어떻게 비교 가능한가?

주요 결과

• 로지스틱 회귀 모델은 해 경로에서 효과적으로 학습하여 변수가 최적 해에 속할 가능성을 높은 정확도로 예측하였다.
• 로지스틱 회귀 예측을 통한 가이드된 탭우 검색은 타일러의 및 데미르코의 작업 스케줄링 벤치마크에서 표준 탭우 검색보다 우수한 성능을 보였다.
• 이 프레임워크는 이전에 해결되지 않거나 상한선이 불완전했던 29개의 작업 스케줄링 인스턴스(예: dmu42-dmu80 및 ta48)에 대해 상한선을 향상시켰다.
• 확률 지배 플롯은 가이드된 탭우 알고리즘이 특히 후반 반복에서 표준 탭우 검색보다 일관되게 뛰어난 성능을 보였음을 입증하였다.
• 최소 로지스틱 매개변수 θmin을 0.001에서 0.0001으로 감소시킴으로써 가장 어려운 인스턴스(dmu71-dmu80)에서의 조기 수렴 문제를 해결하고 성능을 크게 향상시켰다.
• 이 방법은 일반화 가능하며 다른 이진 최적화 문제에 적용 가능하며, 최적성 증명을 위한 분기-바운드 알고리즘 등에 응용 가능성이 있다.