[논문 리뷰] Reinforcement Learning on Job Shop Scheduling Problems Using Graph Networks.

Mohammed Sharafath Abdul Hameed, Andreas Schwung|arXiv (Cornell University)|2020. 09. 08.

Scheduling and Optimization AlgorithmsEngineering참고 문헌 42인용 수 18

한 줄 요약

이 논문은 자원 간 상호작용을 모델링하고 유연하고 확장 가능한 최적화를 가능하게 하기 위해 그래프 신경망을 사용하는 분산 강화 학습 접근법을 제안한다. 다중 로봇 및 복잡한 생산 기준 테스트 케이스에서 평가된 결과, 동적인 환경에서도 뛰어난 성능과 적응성을 보여주었다.

ABSTRACT

This paper presents a novel approach for job shop scheduling problems using deep reinforcement learning. To account for the complexity of production environment, we employ graph neural networks to model the various relations within production environments. Furthermore, we cast the JSSP as a distributed optimization problem in which learning agents are individually assigned to resources which allows for higher flexibility with respect to changing production environments. The proposed distributed RL agents used to optimize production schedules for single resources are running together with a co-simulation framework of the production environment to obtain the required amount of data. The approach is applied to a multi-robot environment and a complex production scheduling benchmark environment. The initial results underline the applicability and performance of the proposed method.

연구 동기 및 목표

• 자원 간 상호의존성을 모델링하여 실제 작업장 스케줄링의 복잡성과 다이나믹함을 해결하기 위해.
• 분산 학습 에이전트를 통해 변화하는 생산 환경에서 스케줄링의 유연성을 향상시키기 위해.
• 각 자원에 개별 RL 에이전트를 할당하여 확장 가능하고 적응 가능한 스케줄링을 가능하게 하기 위해.
• 동적인 제약 조건이 존재하는 현실적이고 복잡한 스케줄링 환경에서 접근법을 검증하기 위해.
• 산업 스케줄링에 있어서 그래프 기반 딥 강화 학습의 실현 가능성과 성능을 입증하기 위해.

제안 방법

• 생산 환경 내 작업, 기계, 자원 간 관계를 모델링하기 위해 그래프 신경망을 사용한다.
• 각 자원에 전용 강화 학습 에이전트를 할당하여 분산 최적화를 가능하게 한다.
• 실시간 생산 다이나믹스를 시뮬레이션하는 공통 시뮬레이션 프레임워크와의 상호작용을 통해 에이전트가 학습한다.
• 작업장 스케줄링 문제를 분산 최적화 문제로 간주함으로써 확장성과 적응성을 향상시킨다.
• RL 에이전트와 공통 시뮬레이션 환경 간의 지속적 상호작용을 통해 학습 데이터를 수집한다.
• 동적 재구성 및 생산 변화에 대한 실시간 대응을 지원한다.

실험 결과

연구 질문

• RQ1 그래프 신경망은 작업장 스케줄링 환경 내 복잡한 상호의존성을 효과적으로 모델링할 수 있는가?
• RQ2 자원별 에이전트를 갖춘 분산 RL 아키텍처가 다이나믹한 환경에서 스케줄링 적응성을 어떻게 향상시키는가?
• RQ3 제안된 방법은 중심집중식 또는 비그래프 기반 접근법에 비해 어떤 성능 향상을 달성하는가?
• RQ4 이 방법은 복잡하고 다중 자원을 포함한 생산 환경에서 효과적으로 확장 가능한가?
• RQ5 실시간 시뮬레이션 환경에서 산업 스케줄링 시나리오에 대해 이 방법은 얼마나 잘 일반화되는가?

주요 결과

• 제안된 방법은 그래프 신경망을 활용해 복잡한 자원 간 상호관계를 성공적으로 모델링하였다.
• 분산 RL 에이전트는 중심집중식 접근법에 비해 동적인 생산 환경에서 더 높은 적응성을 확보하였다.
• 복잡한 생산 스케줄링 기준 테스트 환경에서 뛰어난 성능을 보였다.
• 공통 시뮬레이션 프레임워크를 통해 현실적인 조건에서 효율적인 학습 데이터 수집이 가능했다.
• 초기 결과는 다중 로봇 및 산업 스케줄링 시나리오에서 방법의 적용 가능성과 확장성을 확인하였다.
• 그래프 네트워크와 분산 RL의 통합은 실시간이고 민첩한 스케줄링 최적화를 가능하게 하였다.