[論文レビュー] LLMs can Schedule

Henrik Abgaryan, Ararat Harutyunyan+1 more|arXiv (Cornell University)|Aug 13, 2024

Genetics, Bioinformatics, and Biomedical ResearchBiochemistry, Genetics and Molecular Biology被引用数 3

ひとこと要約

本論文は、ジョブショップスケジューリング問題（JSSP）の自然言語記述を含む、最初の教師あり120kデータセットを紹介する。これにより、Phi-3などのファインチューニング済み大規模言語モデル（LLM）が、専用のニューラルネットワークと同等のスケジューリング性能を達成できるようになった。LoRAファインチューニングとサンプリング戦略を用いることで、最適解からの平均ギャップは8.92%まで低下し、ベースライン手法を上回り、組合せ最適化分野におけるLLMの強力な潜在的可能性を示している。

ABSTRACT

The job shop scheduling problem (JSSP) remains a significant hurdle in optimizing production processes. This challenge involves efficiently allocating jobs to a limited number of machines while minimizing factors like total processing time or job delays. While recent advancements in artificial intelligence have yielded promising solutions, such as reinforcement learning and graph neural networks, this paper explores the potential of Large Language Models (LLMs) for JSSP. We introduce the very first supervised 120k dataset specifically designed to train LLMs for JSSP. Surprisingly, our findings demonstrate that LLM-based scheduling can achieve performance comparable to other neural approaches. Furthermore, we propose a sampling method that enhances the effectiveness of LLMs in tackling JSSP.

研究の動機と目的

• 大規模言語モデル（LLM）を用いたエンドツーエンドのジョブショップスケジューリング（JSSP）の実現可能性を検討すること。JSSPは古典的なNP困難な最適化問題である。
• スケジューリングタスクのための専用データセットの不足に応えるために、120k件のJSSPインスタンスとその解を自然言語形式で整備した新規データセットを構築すること。
• 最小限のファインチューニングで、専用のニューラルネットワークアプローチと同等のスケジューリング性能を達成できるかどうかを評価すること。
• 複数のスケジュール生成から最良のものを選ぶサンプリング手法を提案し、LLMのスケジューリング性能を向上させること。
• 複雑なスケジューリング問題へのLLM適用のための、新たな解釈可能で汎用性の高いフレームワークを提供すること。

提案手法

• 著者らは、ジョブ、マシン、処理時間、最適スケジュールを含む、120k件のJSSPインスタンスからなる教師ありデータセットを構築した。
• このデータセットは、LLMのファインチューニングに特化しており、行列表現ではなく自然言語表現を用いることで、LLMの学習分布と整合性を保つように設計されている。
• Phi-3ベースのLLMを、トレーニングパラメータ数が少ないLoRA（低ランク適応）を用いてファインチューニングし、JSSPタスクに適応させた。
• 複数の候補スケジュールを生成するサンプリング戦略を実装し、マクスパン（C_max）が最小となるものを選択することで、解の品質を向上させた。
• 本手法は、小規模なJSSPベンチマーク上で評価され、L2DやSLJモデルなどの既存のニューラルベースラインと比較された。
• 性能は最適解からの相対ギャップ（C_max）を指標とし、複数回の実行およびサンプルサイズを考慮した統計的分析が行われた。

Figure 1: Left: Training and Validation Losses of Phi-3 Model. Right: The Norm of the Gradient during the fine-tuning of Phi-3 Model

実験結果

リサーチクエスチョン

• RQ1 自然言語表現を用いた場合、大規模言語モデル（LLM）はジョブショップスケジューリング問題（JSSP）を効果的にファインチューニング可能か？
• RQ2 小規模なJSSPインスタンスにおいて、ファインチューニング済みLLMの性能は、L2D や SLJ などの専用ニューラルネットワークモデルと比べてどうか？
• RQ3 サンプリング戦略は、LLMが生成するスケジュールの品質をどの程度向上させるか？
• RQ4 最小限のファインチューニングで、一般用途のLLM（例：Phi-3）は、従来専用モデルが支配的であった組合せ最適化タスクで競争力のある結果を達成できるか？
• RQ5 データセット形式（自然言語対行列）が、スケジューリングタスクにおけるLLMの学習と性能に与える影響は何か？

主な発見

• ファインチューニング済みのPhi-3モデルは、最適解からの平均ギャップが8.92%にまで低下し、元のL2D手法（13.01%ギャップ）を著しく上回った。
• s=10のサンプリング戦略により、中央値ギャップとばらつきが低下し、グリーディデコードに比べて一貫性と解の品質が向上した。
• β値が32、128、256のSLJモデルは、Phi-3モデルよりも低い中央値ギャップ（1.17%、0.26%、0.65%）を達成しており、強力なベースライン性能を示した。
• 一般用途の言語モデルであるPhi-3が、LoRAファインチューニングとサンプリングを組み合わせることで、競争力のある性能を達成した。これは、スケジューリングタスクへの強い汎用性を示唆している。
• 提案された120kの自然言語データセットは、JSSPにおけるLLMの有効な学習を可能にした。LLMがテキスト入力を用いて構造化されたスケジューリング問題を推論できることを実証した。
• 結果から、適切にファインチューニングされ、サンプリング戦略と組み合わせられたLLMは、JSSP分野における専用ニューラルアーキテクチャの代替手段として実用的かつ有望であることが示された。

Figure 2: Box plot comparison of different models: (1) L2D original with greedy inference using a 20x20 policy network (L2D Gap original), (2) L2D policy network with sampling ( s=10 ) (L2D Gap s=10), (3) SLJ models trained with $\beta$ values of 32, 128, and 256, and evaluated with sampling ( s=10