[논문 리뷰] Enhancing Column Generation by a Machine-Learning-Based Pricing Heuristic for Graph Coloring

Yunzhuang Shen, Yuan Sun외 3명|arXiv (Cornell University)|2021. 12. 08.

Scheduling and Timetabling Solutions인용 수 7

한 줄 요약

이 논문은 그래프 색칠 문제에 대한 컬럼 생성(CG)을 가속화하기 위해 기계학습 기반의 가격 설정 히وري스틱(MLPH)을 제안한다. 이 MLPH는 훈련된 서포트 벡터 머신을 사용해 가격 설정 하위문제의 최적 해를 예측하고, 이를 바탕으로 샘플링 방법을 안내하여 각 반복에서 다수의 고품질 컬럼을 효율적으로 생성한다. MLPH는 다양한 그래프 인스턴스에서 컬럼 생성 반복 수를 크게 감소시키고 브랜치 앤 프라이스 성능을 향상시킨다.

ABSTRACT

Column Generation (CG) is an effective method for solving large-scale optimization problems. CG starts by solving a sub-problem with a subset of columns (i.e., variables) and gradually includes new columns that can improve the solution of the current subproblem. The new columns are generated as needed by repeatedly solving a pricing problem, which is often NP-hard and is a bottleneck of the CG approach. To tackle this, we propose a Machine-Learning-based Pricing Heuristic (MLPH)that can generate many high-quality columns efficiently. In each iteration of CG, our MLPH leverages an ML model to predict the optimal solution of the pricing problem, which is then used to guide a sampling method to efficiently generate multiple high-quality columns. Using the graph coloring problem, we empirically show that MLPH significantly enhancesCG as compared to six state-of-the-art methods, and the improvement in CG can lead to substantially better performance of the branch-and-price exact method.

연구 동기 및 목표

• 컬럼 생성(CG)에서 반복적으로 해결해야 하는 NP-완전한 가격 설정 문제로 인해 수렴 속도가 느려지는 계산적 병목 현상을 해결하기 위해.
• 伝통적인 히وري스틱 가격 설정을 데이터 기반 접근법으로 대체하거나 보완하여 컬럼 생성의 효율성과 품질을 향상시키기 위해.
• 컬럼 생성 반복 수를 줄이고 그래프 색칠 문제에 대한 브랜치 앤 프라이스 정확한 방법의 성능을 향상시키기 위해.
• 기계학습이 이력 가격 설정 문제의 해를 활용하여 컬럼 생성을 효과적으로 이끌 수 있음을 입증하기 위해.

제안 방법

• 기존에 해결된 가격 설정 문제 인스턴스의 이력 데이터와 알려진 최적 해를 기반으로 선형 서포트 벡터 머신을 훈련하여, 새로운 미리보지 않은 가격 설정 문제의 최적 해를 예측한다.
• 예측된 최적 해를 바탕으로 샘플링 기반의 컬럼 생성 방법을 안내하여 각 CG 반복에서 다수의 고품질 컬럼을 효율적으로 생성한다.
• Restricted Master Problem(RMP)에 추가할 가장 유익한 컬럼을 선택하기 위해 컬럼 선택 전략을 적용함으로써 계산 효율성과 해 품질을 확보한다.
• 다트지–울프 분해 프레임워크에 통합되며, 그래프 색칠 문제의 집합 커버링 공식화에 최대 독립 집합을 컬럼으로 사용한다.
• 브랜치 앤 프라이스 프레임워크 내에서 평가되며, 각 노드에서 CG를 사용해 선형계획법(LP)의 해를 구한다.
• 다양한 그래프 유형에 걸쳐 예측 정확도를 유지하기 위해 새로운 문제 인스턴스를 주기적으로 사용해 ML 모델을 재훈련하거나 피니튜닝한다.

실험 결과

연구 질문

• RQ1 이미 해결된 가격 설정 문제에 대해 훈련된 기계학습 모델이 효율적인 컬럼 생성을 안내할 수 있을 정도로 최적 해를 잘 예측할 수 있는가?
• RQ2 예측된 해를 기반으로 샘플링을 안내할 경우, 전통적인 히وري스틱보다 더 많은 음수 감소비용을 가진 컬럼을 생성할 수 있는가?
• RQ3 MLPH는 최신 기술의 가격 설정 히وري스틱과 비교해 컬럼 생성 반복 수를 어느 정도 줄일 수 있는가?
• RQ4 MLPH는 그래프 색칠 문제에 대한 브랜치 앤 프라이스 알고리즘의 전반적인 성능에 어떤 영향을 미치는가?
• RQ5 기계학습 기반 접근법은 다양한 그래프 유형과 문제 인스턴스에 일반화될 수 있는가?

주요 결과

• MLPH는 최상의 기준 방법 대비 평균 57% 감소한 컬럼 생성 반복 수를 기록하여 수렴 속도를 크게 향상시켰다.
• DSJC250.5 인스턴스에서 MLPH는 다음으로 우수한 방법보다 57% 감소한 반복 수를 기록했으며, 해에 도달하는 데 소요된 시간도 42% 향상되었다.
• MLPH를 사용한 브랜치 앤 프라이스 방법은 20개의 벤치마크 인스턴스 중 12개를 다른 방법들—Gurobi 및 기타 최신 기술 히وري스틱 포함—보다 더 빨리 해결했다.
• MLPH는 평균적으로 다음으로 우수한 방법보다 감소비용이 0.42 낮은 컬럼을 생성하여 더 높은 해 품질을 나타냈다.
• 시험된 그래프 색칠 문제 인스턴스 전반에서 최적해에 도달하는 데 소요된 시간을 평균 31% 감소시켰다.
• 기존의 가격 설정 히وري스틱이 가장 어려워하는 고밀도 그래프(예: DSJC250.5, DSJR500.5)에서 성능 향상이 가장 두드러졌다.