[논문 리뷰] Manufacturing Dispatching using Reinforcement and Transfer Learning

Shuai Zheng, Chetan Gupta외 1명|arXiv (Cornell University)|2019. 10. 04.

Scheduling and Optimization Algorithms참고 문헌 35인용 수 13

한 줄 요약

이 논문은 공장 플로어 상태를 2차원 행렬로 모델링하고, 작업의 여유 시간과 맞춤형 지각/지각 지연 보상 기능을 통합한 딥 강화학습(DRL) 기반 디스패칭 시스템을 제안한다. 또한 다양하고 다양한 제조 라인 간 정책 일반화를 위해 다양체 정렬을 사용하는 전이 학습 프레임워크를 도입하여 훈련 시간을 크게 단축시키고 기준 방법 대비 성능을 향상시킨다.

ABSTRACT

Efficient dispatching rule in manufacturing industry is key to ensure product on-time delivery and minimum past-due and inventory cost. Manufacturing, especially in the developed world, is moving towards on-demand manufacturing meaning a high mix, low volume product mix. This requires efficient dispatching that can work in dynamic and stochastic environments, meaning it allows for quick response to new orders received and can work over a disparate set of shop floor settings. In this paper we address this problem of dispatching in manufacturing. Using reinforcement learning (RL), we propose a new design to formulate the shop floor state as a 2-D matrix, incorporate job slack time into state representation, and design lateness and tardiness rewards function for dispatching purpose. However, maintaining a separate RL model for each production line on a manufacturing shop floor is costly and often infeasible. To address this, we enhance our deep RL model with an approach for dispatching policy transfer. This increases policy generalization and saves time and cost for model training and data collection. Experiments show that: (1) our approach performs the best in terms of total discounted reward and average lateness, tardiness, (2) the proposed policy transfer approach reduces training time and increases policy generalization.

연구 동기 및 목표

• 고혼도, 저량 생산 환경에서의 동적이고 확률적인 제조 환경을 해결하기 위해 적응형 디스패칭 시스템을 개발한다.
• 맞춤형 보상 함수를 사용한 강화학습을 통해 과거 납기 위반 및 재고 비용을 최소화한다.
• 각 제조 라인에 대해 별도의 RL 모델을 훈련하는 데 드는 높은 비용을 해결하기 위해 다양한 공장 플로어 구성 간 정책 전이를 가능하게 한다.
• 다양체 정렬 기반 전이 학습을 통해 일반화 능력을 향상시키고 데이터/인프라 요구 사항을 줄인다.

제안 방법

• 공장 플로어 상태를 작업 및 기계 정보를 포괄하는 2차원 행렬로 표현하여 표현 능력을 향상시킨다.
• 결정의 관련성을 향리하기 위해 상태 표현에 작업의 여유 시간을 통합한다.
• 납기 기반 스케줄링 목표에 부합하기 위해 지각 및 지각 지연을 징벌하는 보상 함수를 설계한다.
• 정책 그래데이언트 방법을 사용한 딥 강화학습을 적용하여 디스패칭 정책을 최적화한다.
• 소스 및 타겟 공장 플로어 환경 간의 공통 잠재 공간을 학습하기 위해 다각체 정렬을 사용하여 정책 전이를 수행한다.
• 순차적 결정 문제에서 효과적인 전이 학습을 가능하게 하기 위해 상태 시퀀스로부터 액션을 복원하는 방법을 개발한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 모델은 다양한 작업 혼합 비율과 도착률을 가진 동적이고 확률적인 제조 환경에서 효과적으로 디스패칭 정책을 학습할 수 있는가?
• RQ2 여유 시간과 맞춤형 지각/지각 지연 보상 기능을 통합함으로써 표준 히우리스틱 대비 디스패칭 성능이 얼마나 향상되는가?
• RQ3 다양체 정렬을 사용하여 사전 훈련된 디스패칭 정책을 다양한 공장 플로어 구성 간에 얼마나 효과적으로 전이할 수 있는가?
• RQ4 전이 학습은 각 새로운 환경에서 처음부터 훈련하는 것과 비교해 훈련 시간을 단축시키고 정책 일반화 능력을 향상시키는가?

주요 결과

• 제안된 딥 제조 디스패칭(DMD) 모델은 19개 실험 설정 중 18개에서 총 할인 보상 최고 수준과 평균 지각 및 지각 지연 최저 수준을 달성했다.
• 19개 설정 중 16개에서 DMD는 평균 지각 및 지각 지연 측면에서 모든 기준 모델을 앞서며 뛰어난 스케줄링 성능를 입증했다.
• 다양체 정렬 기반 정책 전이로 인해 훈련 시간이 단축되었고 정책 일반화 능력이 향상되었으며, 전이 초기화 모델이 처음부터 훈련한 모델보다 뛰어난 성능을 보였다.
• 전이 학습 접근법은 동일 환경 및 교차 환경 설정 모두에서 효과적이었으며, 작업 도착률과 기계 용량의 변화에도 잘 작동했다.
• 전이 학습을 통한 투하우리스틱도 처음부터 훈련한 것과 비교해 경쟁력 있거나 더 좋은 성능를 보였으며, 이는 전이 프레임워크의 광범위한 적용 가능성을 입증했다.
• 시뮬레이터 기반 평가를 통해 DMD 모델이 작업 대기열 길이, 가공 용량, 도착 분포의 변화를 포함한 다양한 구성 간에도 잘 일반화됨을 확인했다.