[논문 리뷰] Learning to Dispatch for Job Shop Scheduling via Deep Reinforcement Learning

Cong Zhang, Wen Song외 4명|arXiv (Cornell University)|2020. 10. 23.

Scheduling and Optimization Algorithms참고 문헌 49인용 수 236

한 줄 요약

논문은 Job Shop Scheduling Problems를 해결하기 위한 자동으로 고품질 우선 디스패치 규칙(PDR)을 학습하는 사이즈에 구애받지 않는 그래프 신경망 기반 DRL 방법을 제시하며, 전통적인 PDR 베이스라인을 능가하고 더 큰 인스턴스에 일반화한다.

ABSTRACT

Priority dispatching rule (PDR) is widely used for solving real-world Job-shop scheduling problem (JSSP). However, the design of effective PDRs is a tedious task, requiring a myriad of specialized knowledge and often delivering limited performance. In this paper, we propose to automatically learn PDRs via an end-to-end deep reinforcement learning agent. We exploit the disjunctive graph representation of JSSP, and propose a Graph Neural Network based scheme to embed the states encountered during solving. The resulting policy network is size-agnostic, effectively enabling generalization on large-scale instances. Experiments show that the agent can learn high-quality PDRs from scratch with elementary raw features, and demonstrates strong performance against the best existing PDRs. The learned policies also perform well on much larger instances that are unseen in training.

연구 동기 및 목표

• JSSP를 위한 효과적인 우선 디스패치 규칙(PDR)의 설계를 딥 강화학습을 사용해 자동화합니다.
• 배치 의사결정을 위한 의존성 및 머신 상태를 포착하기 위해 disjunctive graph 표현을 활용합니다.
• 작업 수와 기계 수의 변화에 대해 확장 가능한 사이즈에 구애받지 않는(size-agnostic) 일반화 가능한 정책을 개발합니다.
• 학습된 PDR이 생성된 벤치마크와 공개 벤치마크에서 수작업으로 설계된 규칙을 능가함을 입증합니다.

제안 방법

• JSSP 디스패치를 상태가 disjunctive graphs이고 행동이 적격 작업을 디스패치하는 Markov Decision Process로 공식화합니다.
• 그래프 구조화된 상태를 Graph Isomorphism Network (GIN)으로 임베딩하여 고정 차원의 노드 및 그래프 임베딩을 얻습니다.
• GNN 처리를 위한 희소 방향성 disjunctive graphs를 생성하기 위해 adding-arc 전략을 사용하고 MLP를 통해 액션 점수를 도출합니다.
• 정책을 GNN 기반 네트워크로 매개화하고, GNN 백본을 공유하는 크리틱과 함께 PPO(Proximal Policy Optimization)로 학습합니다.
• 보상은 makespan의 하한선 개선으로 정의하여 예측된 makespan을 줄이는 방향의 행동을 장려합니다; 누적 보상은 감마 gamma=1을 사용합니다.
• Taillard 유사 생성 인스턴스와 공개 벤치마크(Taillard 및 DMU)를 평가하고 SPT, MWKR, MOPNR, FDD/MWKR과 같은 전통적 PDR과 비교합니다.

실험 결과

연구 질문

• RQ1 DRL 프레임워크가 원시 피처로부터 JSSP에 대해 고품질의 일반화 가능한 PDR을 학습할 수 있는가?
• RQ2 작은 인스턴스에서 학습된 사이즈-아그노스틱 GNN 기반 정책이 더 큰, 보지 못한 문제 크기로 일반화되는가?
• RQ3 학습된 PDR가 표준 벤치마크에서 전통적인 수작업 PDR에 비해 얼마나 우수한가?
• RQ4 분리가능 그래프 표현과 그래프 기반 임베딩이 스케줄링 다이내믹스를 효과적으로 포착하여 의사결정을 안내하는가?

주요 결과

• 학습된 PDR은 생성된 인스턴스에서 크기에 상관없이(최대 30×20까지) 전통 베이스라인(SPT, MWKR, FDD/MWKR, MOPNR)을 consistently outperform합니다.
• 학습된 정책은 훈련 중 보지 못한 더 큰 인스턴스(예: 50×20 및 100×20)로 일반화되며, 전통 PDR에 비해 성능이 우수합니다.
• PPO와 GIN 기반 정책으로 학습하면 사이즈-아그노스틱한 정책이 되어 각 크기마다 재학습 없이 임의의 인스턴스 크기로 확장할 수 있습니다.
• 추론 시간은 전통 PDR보다 길지만 실용적인 시간 제한 내에서 상당한 makespan 개선을 제공하고 다수의 대형 인스턴스에서 OR-Tools를 능가합니다.
• Taillard 및 DMU 벤치마크에 대한 실험에서 학습된 PDR은 강한 성능을 유지하고 베스트- known 솔루션과의 차이가 기존 베이스라인보다 더 큽니다.