[논문 리뷰] An actor-critic algorithm with deep double recurrent agents to solve the job shop scheduling problem.

Marta Monaci, Valerio Agasucci외 1명|arXiv (Cornell University)|2021. 10. 18.

Scheduling and Optimization Algorithms참고 문헌 40인용 수 5

한 줄 요약

이 논문은 동적 마르코프 결정 과정으로 모델링된 작업장 스케줄링 문제(JSSP)를 해결하기 위해 이중 LSTM 기반 에이전트를 사용하는 딥 강화학습 액터-크리틱 알고리즘을 제안한다. 이 방법은 다양한 JSSP 인스턴스에서 근사 휴리스틱을 학습하여 빠르게 고품질의 해를 도출하며, 더 큰 문제나 분포가 다른 문제로의 일반화 능력이 뛰어나 기준 휴리스틱과 비교해 우수하고 CPLEX와의 벤치마크에서 강력한 성능을 보인다.

ABSTRACT

There is a growing interest in integrating machine learning techniques and optimization to solve challenging optimization problems. In this work, we propose a deep reinforcement learning methodology for the job shop scheduling problem (JSSP). The aim is to build up a greedy-like heuristic able to learn on some distribution of JSSP instances, different in the number of jobs and machines. The need for fast scheduling methods is well known, and it arises in many areas, from transportation to healthcare. We model the JSSP as a Markov Decision Process and then we exploit the efficacy of reinforcement learning to solve the problem. We adopt an actor-critic scheme, where the action taken by the agent is influenced by policy considerations on the state-value function. The procedures are adapted to take into account the challenging nature of JSSP, where the state and the action space change not only for every instance but also after each decision. To tackle the variability in the number of jobs and operations in the input, we modeled the agent using two incident LSTM models, a special type of deep neural network. Experiments show the algorithm reaches good solutions in a short time, proving that is possible to generate new greedy heuristics just from learning-based methodologies. Benchmarks have been generated in comparison with the commercial solver CPLEX. As expected, the model can generalize, to some extent, to larger problems or instances originated by a different distribution from the one used in training.

연구 동기 및 목표

• 의료 및 물류와 같은 도메인에서 전통적 솔버가 실시간 사용에 적합하지 않을 정도로 느린 문제 해결 속도를 해결하기 위한 빠르고 확장 가능한 스케줄링 솔루션의 필요성 해결.
• JSSP 인스턴스에서 작업 수와 기계 수의 변화에 관계없이 일반화 가능한 기반 휴리스틱 개발.
• 각 스케줄링 결정 후 상태 공간과 행동 공간이 변화하는 JSSP에 내재된 동적 특성에 대응.
• 인스턴스별 구조적 변화에 적응하면서도 학습 효율성을 유지하는 강화학습 프레임워크 설계.

제안 방법

• 스케줄링 중에 변화하는 상태 공간과 행동 공간을 갖는 마르코프 결정 과정(MDP)으로 JSSP 모델링.
• 정책(액터)이 상태가치 함수(크리틱)에 의해 안내되어 의사결정 품질을 향상시키는 액터-크리틱 강화학습 프레임워크 구현.
• 변동하는 작업과 기계의 상태를 인코딩하기 위해 별도의 장기 숏텀 메모리(LSTM) 네트워크 두 개를 사용하여 가변 크기의 입력을 처리할 수 있도록 설계.
• 행동 공간을 다음 작업 선택을 나타내도록 설계하고, 학습된 정책과 가치 추정에 기반해 결정을 내림.
• 다양한 작업 수와 기계 수를 가진 JSSP 인스턴스 분포에서 딥 강화학습을 통해 에이전트를 종합적으로 훈련.
• JSSP의 조합적 복잡성과 동적 구조를 관리하기 위해 네트워크 아키텍처와 훈련 절차를 적응 조정.

실험 결과

연구 질문

• RQ1 딥 강화학습 에이전트는 다양한 크기의 인스턴스에서 JSSP에 대해 효과적이고 일반화 가능한 휴리스틱을 학습할 수 있는가?
• RQ2 이중 LSTMs를 갖춘 액터-크리틱 프레임워크는 전통적 휴리스틱과 CPLEX와 같은 상용 솔버와 비교해 어떤 성능을 보이는가?
• RQ3 훈련 중에 볼 수 없었던 더 큰 또는 분포가 다른 JSSP 인스턴스로의 일반화 능력은 어느 정도인가?
• RQ4 이 방법은 짧은 추론 시간 내에 고품질의 해를 얼마나 효과적으로 도출하는가?

주요 결과

• 제안된 방법은 짧은 추론 시간 내에 JSSP 인스턴스에 대해 고품질의 해를 생성하여, 딥 강화학습을 통한 근사 휴리스틱 학습의 가능성을 입증한다.
• 에이전트는 더 큰 JSSP 인스턴스와 훈련 세트와 다른 분포에서 유래한 인스턴스로도 일반화되며, 강력한 일반화 능력을 보여준다.
• 특히 제한된 시간 내에서 해 품질 측면에서 상용 솔버 CPLEX와 경쟁 가능한 성능을 달성한다.
• 이중 LSTM 아키텍처는 작업과 기계의 동적 상태를 효과적으로 포착하여 가변 크기의 입력과 변화하는 결정 공간을 처리할 수 있도록 한다.