[논문 리뷰] LLMs can Schedule

Henrik Abgaryan, Ararat Harutyunyan외 1명|arXiv (Cornell University)|2024. 08. 13.

Genetics, Bioinformatics, and Biomedical ResearchBiochemistry, Genetics and Molecular Biology인용 수 3

한 줄 요약

이 논문은 작업장 스케줄링 문제(JSSP)에 대한 자연어 기반 기술서 12만 건을 포함하는 최초의 지도 학습 데이터셋을 소개한다. 이를 통해 Phi-3와 같은 미세조정된 대규모 언어 모델(LLM)이 전용 신경망과 유사한 스케줄링 성능을 달성할 수 있다. LoRA 미세조정과 샘플링 전략을 활용한 LLM은 최적 해에 대한 평균 격차를 8.92%로 줄였으며, 기준 방법들을 능가하고, 조합 최적화 분야에서 LLM의 잠재력을 입증한다.

ABSTRACT

The job shop scheduling problem (JSSP) remains a significant hurdle in optimizing production processes. This challenge involves efficiently allocating jobs to a limited number of machines while minimizing factors like total processing time or job delays. While recent advancements in artificial intelligence have yielded promising solutions, such as reinforcement learning and graph neural networks, this paper explores the potential of Large Language Models (LLMs) for JSSP. We introduce the very first supervised 120k dataset specifically designed to train LLMs for JSSP. Surprisingly, our findings demonstrate that LLM-based scheduling can achieve performance comparable to other neural approaches. Furthermore, we propose a sampling method that enhances the effectiveness of LLMs in tackling JSSP.

연구 동기 및 목표

• 대규모 언어 모델(LLM)을 사용하여 엔드 투 엔드 작업장 스케줄링(JSSP)을 수행할 수 있는지 탐색하는 것.
• 스케줄링 작업을 위한 전용 데이터셋의 부족을 해결하기 위해, 12만 건의 JSSP 인스턴스와 그 해를 자연어 형식으로 구성한 새로운 데이터셋을 구축하는 것.
• 전용 신경망 접근법과 비교하여, LLM의 최소한의 미세조정만으로도 경쟁 가능한 스케줄링 성능를 달성할 수 있는지 평가하는 것.
• 다중 생성된 스케줄 중에서 최소 마이크스팬(C_max)을 가진 해를 선택하는 샘플링 방법을 제안하여 LLM의 스케줄링 성능를 향상시키는 것.
• 복잡한 스케줄링 문제에 LLM을 적용하기 위한 새로운 해석 가능하고 일반화 가능한 프레임워크를 제공하는 것.

제안 방법

• 저자는 각각 작업, 기계, 처리 시간 및 최적 스케줄을 자연어로 기술한 12만 건의 JSSP 인스턴스로 구성된 지도 학습 데이터셋을 구축했다.
• 이 데이터셋은 LLM의 미세조정을 위해 특별히 설계되었으며, LLM의 훈련 분포와 일치하기 위해 매트릭스 기반 표현 대신 자연어 표현을 사용한다.
• Phi-3 기반 LLM을 LoRA(Low-Rank Adaptation)를 사용하여 미세조정하였으며, JSSP 작업에 적합하도록 소수의 학습 가능한 파라미터를 활용했다.
• 다중 후보 스케줄을 생성하고, 그 중에서 마이크스팬(C_max)이 가장 낮은 해를 선택하는 샘플링 전략을 구현하여 해 품질을 향상시켰다.
• 이 방법은 소규모 JSSP 벤치마크에서 기존의 신경망 기반 기준 모델(L2D 및 SLJ 모델)과 비교하여 평가되었다.
• 성능는 최적 해에 대한 상대적 격차(C_max)로 측정되었으며, 다수의 런과 샘플 크기에서 통계 분석이 수행되었다.

Figure 1: Left: Training and Validation Losses of Phi-3 Model. Right: The Norm of the Gradient during the fine-tuning of Phi-3 Model

실험 결과

연구 질문

• RQ1 대규모 언어 모델(LLM)은 자연어 표현을 사용하여 작업장 스케줄링 문제(JSSP)를 효과적으로 미세조정할 수 있는가?
• RQ2 소규모 JSSP 인스턴스에서, 미세조정된 LLM의 성능는 전용 신경망 모델(L2D, SLJ 등)과 비교해 어떻게 되는가?
• RQ3 샘플링 전략은 JSSP에서 LLM이 생성한 스케줄의 품질을 어느 정도 향상시키는가?
• RQ4 최소한의 미세조정만으로도 일반 목적의 LLM인 Phi-3가 조합 최적화 과제에서 전용 모델이 지배해 온 분야에서 경쟁 가능한 성능를 달성할 수 있는가?
• RQ5 데이터셋 형식(자연어 대비 매트릭스)이 스케줄링 과제에서 LLM의 훈련 및 성능에 어떤 영향을 미치는가?

주요 결과

• 미세조정된 Phi-3 모델은 최적 해로부터 평균 격차 8.92%를 기록하여 원본 L2D 방법(13.01% 격차)보다 뚜렷이 뛰어난 성능를 보였다.
• s=10인 샘플링 전략은 중앙값 격차와 변동성을 감소시켜 탐욕적 디코딩 대비 일관성과 해 품질을 향상시켰다.
• β 값이 32, 128, 256인 SLJ 모델들은 Phi-3 모델보다 더 낮은 중앙값 격차(1.17%, 0.26%, 0.65%)를 기록하여 강력한 기준 성능를 보였다.
• 일반 목적의 언어 모델임에도 불구하고, LoRA 미세조정과 샘플링 전략을 적용한 Phi-3는 경쟁 가능한 성능를 달성하였으며, 이는 스케줄링 과제로의 강력한 전이 가능성 잠재력을 시사한다.
• 제안된 12만 건의 자연어 기반 데이터셋은 JSSP에 대한 효과적인 LLM 훈련을 가능하게 하였으며, LLM이 텍스트 입력을 통해 구조화된 스케줄링 문제를 추론할 수 있음을 입증하였다.
• 결과적으로, 적절히 미세조정되고 샘플링 전략과 결합된 LLM은 전용 신경망 아키텍처에 비해 실용적이고 유망한 대안이 될 수 있음을 시사한다.

Figure 2: Box plot comparison of different models: (1) L2D original with greedy inference using a 20x20 policy network (L2D Gap original), (2) L2D policy network with sampling ( s=10 ) (L2D Gap s=10), (3) SLJ models trained with $\beta$ values of 32, 128, and 256, and evaluated with sampling ( s=10