[논문 리뷰] Variational Approach for Job Shop Scheduling

Seung Heon Oh, Jiwon Baek외 3명|arXiv (Cornell University)|2026. 01. 30.

Scheduling and Optimization Algorithms인용 수 0

한 줄 요약

이 논문은 변분 추론과 최대 엔트로피 RL을 사용하여 변분 그래프-스케줄러 VG2S를 제안하고, JSSP를 제로샷 일반화가 강하게 해결합니다.

ABSTRACT

This paper proposes a novel Variational Graph-to-Scheduler (VG2S) framework for solving the Job Shop Scheduling Problem (JSSP), a critical task in manufacturing that directly impacts operational efficiency and resource utilization. Conventional Deep Reinforcement Learning (DRL) approaches often face challenges such as non-stationarity during training and limited generalization to unseen problem instances because they optimize representation learning and policy execution simultaneously. To address these issues, we introduce variational inference to the JSSP domain for the first time and derive a probabilistic objective based on the Evidence of Lower Bound (ELBO) with maximum entropy reinforcement learning. By mathematically decoupling representation learning from policy optimization, the VG2S framework enables the agent to learn robust structural representations of scheduling instances through a variational graph encoder. This approach significantly enhances training stability and robustness against hyperparameter variations. Extensive experiments demonstrate that the proposed method exhibits superior zero-shot generalization compared with state-of-the-art DRL baselines and traditional dispatching rules, particularly on large-scale and challenging benchmark instances such as DMU and SWV.

연구 동기 및 목표

• JSSP용 엔드-투-엔드 DRL에서의 불안정성 및 일반화 부족을 동기 부여하고 해결한다.
• 표현 학습을 정책 최적화와 분리하는 변분 프레임워크를 제안한다.
• 변분 그래프 인코더와 시퀀스 기반 정책 디코더를 포함한 VG2S를 개발한다.
• DMU 및 SWV와 같은 대규모 JSSP 벤치마크에서 향상된 제로샷 일반화를 입증한다.

제안 방법

• JSSP를 이합 그래프로 형식화하고 작업에 대한 정적 및 동적 특징을 정의한다.
• 재구성 항과 정책 항을 가진 ELBO를 통해 잠재 표현을 학습하기 위해 변분 그래프 인코더를 도입한다.
• 두 단계 학습 과정 사용: 변분 표현 학습에 이어 최대 엔트로피 목표를 이용한 정책 학습.
• 이종 에지 유형과 z에 대한 변분 잠재 공간을 갖춘 그래프 신경망 기반 인코더를 구현한다.
• 일정 조정 행동을 선택하기 위해 glimpse 주의 메커니즘을 사용하는 그래프-투-시퀀스 스타일의 정책 디코더를 적용한다.
• 노드 및 간선의 재구성 손실, 잠재 공간의 KL 발산, 엔트로피 정규화를 가진 정책 기울기 목표로 학습한다.

실험 결과

연구 질문

• RQ1 변분 추론이 JSSP에서 엔드-투-엔드 DRL과 비교할 때 표현 학습의 강건성을 향상시킬 수 있는가?
• RQ2 표현 학습을 정책 최적화와 분리하는 것이 학습 안정성 및 보지 않은 인스턴스에 대한 일반화를 향상시키는가?
• RQ3 제로샷 일반화를 갖는 대규모의 도전적인 JSSP 벤치마크에서 VG2S의 성능은 어떠한가?
• RQ4 인스턴스 토폴로지를 클러스터링하는 데 있어 변분 잠재 공간의 영향과 일정 성능은 어떠한가?

주요 결과

• VG2S는 대규모 벤치마크에서 최첨단 DRL 베이스라인과 전통적인 디스패치 규칙에 대해 우수한 제로샷 일반화를 달성한다.
• 변분 인코더는 정책 학습 이전에도 토폴로지에 따라 인스턴스를 클러스터링하는 잠재 공간을 생성한다.
• 표현 학습을 정책 최적화와 분리하는 것이 학습 안정성과 하이퍼파라미터 변화에 대한 강건성을 향상시킨다.
• 이 방법은 인스턴스 가변성과 일정의 잠재적 확률적 특성을 다루기 위해 ELBO와 최대 엔트로피 RL을 활용한다.