[论文解读] LLMs can Schedule

Henrik Abgaryan, Ararat Harutyunyan+1 more|arXiv (Cornell University)|Aug 13, 2024

Genetics, Bioinformatics, and Biomedical ResearchBiochemistry, Genetics and Molecular Biology被引用 3

一句话总结

本文提出了首个针对作业车间调度问题（JSSP）的120k规模监督数据集，采用自然语言描述形式，使如Phi-3等大型语言模型（LLM）经微调后能够实现与专用神经网络相当的调度性能。通过LoRA微调与采样策略，LLM将平均与最优解的差距降低至8.92%，优于基线方法，展现出LLM在组合优化任务中的强大潜力。

ABSTRACT

The job shop scheduling problem (JSSP) remains a significant hurdle in optimizing production processes. This challenge involves efficiently allocating jobs to a limited number of machines while minimizing factors like total processing time or job delays. While recent advancements in artificial intelligence have yielded promising solutions, such as reinforcement learning and graph neural networks, this paper explores the potential of Large Language Models (LLMs) for JSSP. We introduce the very first supervised 120k dataset specifically designed to train LLMs for JSSP. Surprisingly, our findings demonstrate that LLM-based scheduling can achieve performance comparable to other neural approaches. Furthermore, we propose a sampling method that enhances the effectiveness of LLMs in tackling JSSP.

研究动机与目标

• 探索使用大型语言模型（LLMs）端到端求解作业车间调度问题（JSSP）的可行性，JSSP是经典的NP难优化问题。
• 针对现有调度任务训练LLM缺乏专用数据集的问题，构建一个全新的120k规模JSSP实例及其解的自然语言格式数据集。
• 评估LLM经过最小量微调后，是否能与专用神经网络方法在调度性能上达到可比水平。
• 通过所提出的采样方法提升LLM的调度性能，该方法从多次生成的候选解中选择makespan（C_max）最低的解。
• 为复杂调度问题提供一种新型、可解释且可泛化的LLM应用框架。

提出的方法

• 作者构建了一个包含120k个JSSP实例的监督数据集，每个实例以自然语言形式描述作业、机器、加工时间及最优调度方案。
• 该数据集专为LLM微调设计，采用自然语言而非矩阵表示，以匹配LLM的预训练数据分布。
• 使用LoRA（低秩适应）方法对Phi-3基础LLM进行微调，仅调整少量可训练参数，以适配JSSP任务。
• 实施了一种采样策略：对每个问题生成多个候选调度方案，并选择makespan（C_max）最小的方案作为最终输出，以提升解的质量。
• 在小规模JSSP基准上评估该方法，将微调后的LLM与现有神经基线方法（如L2D和SLJ模型）进行比较。
• 性能通过与最优解的相对差距（C_max）进行衡量，并在多次运行和不同样本规模下进行统计分析。

Figure 1: Left: Training and Validation Losses of Phi-3 Model. Right: The Norm of the Gradient during the fine-tuning of Phi-3 Model

实验结果

研究问题

• RQ1 大型语言模型（LLMs）是否能通过自然语言表示有效微调以求解作业车间调度问题（JSSP）？
• RQ2 在小规模JSSP实例上，微调后的LLM性能与专用神经网络模型（如L2D、SLJ）相比如何？
• RQ3 采样策略在多大程度上提升了LLM生成调度方案的质量？
• RQ4 经过最小微调的通用大模型（如Phi-3）是否能在传统上由专用模型主导的组合优化任务中取得具有竞争力的结果？
• RQ5 数据集格式（自然语言 vs. 矩阵）对LLM在调度任务中的训练与性能有何影响？

主要发现

• 微调后的Phi-3模型与最优解的平均差距为8.92%，显著优于原始L2D方法（13.01%的差距）。
• 采用s=10的采样策略显著降低了中位差距与波动性，相比贪婪解码，提升了结果的一致性与解的质量。
• SLJ模型在β值为32、128和256时，中位差距分别为1.17%、0.26%和0.65%，低于Phi-3模型，表明基线性能强劲。
• 尽管Phi-3是通用语言模型，但经LoRA微调与采样策略后，仍实现了具有竞争力的性能，表明其在调度任务中具备强大的迁移能力。
• 所提出的120k规模自然语言数据集可有效支持LLM在JSSP任务中的训练，证明LLM能够通过文本输入对结构化调度问题进行推理。
• 结果表明，当经过适当微调并结合采样策略时，LLM是JSSP中专用神经架构的可行且极具前景的替代方案。

Figure 2: Box plot comparison of different models: (1) L2D original with greedy inference using a 20x20 policy network (L2D Gap original), (2) L2D policy network with sampling ( s=10 ) (L2D Gap s=10), (3) SLJ models trained with $\beta$ values of 32, 128, and 256, and evaluated with sampling ( s=10