[論文レビュー] Language Models for Business Optimisation with a Real World Case Study in Production Scheduling

Pivithuru Thejan Amarasinghe, Su Nguyen+2 more|arXiv (Cornell University)|Sep 22, 2023

Business Process Modeling and AnalysisBusiness, Management and Accounting被引用数 3

ひとこと要約

本論文では、生産スケジューリングを対象として、微調整されたコード生成型大規模言語モデル（LLM）を活用して、ビジネス最適化問題の定式化を自動化するAI・コ-pilotフレームワークを提案する。プロンプト工学とモジュラー化を用いることでトークン制限を克服し、自然言語記述から正確で実行可能な最適化モデルを生成する。専門家による入力が最小限で、高品質な定式化を達成する。

ABSTRACT

Business optimisation has been used extensively to determine optimal solutions for challenging business operations. Problem formulation is an important part of business optimisation as it influences both the validity of solutions and the efficiency of the optimisation process. While different optimisation modelling languages have been developed, problem formulation is still not a trivial task and usually requires optimisation expertise and problem-domain knowledge. Recently, Large Language Models (LLMs) have demonstrated outstanding performance across different language-related tasks. Since problem formulation can be viewed as a translation task, there is a potential to leverage LLMs to automate problem formulation. However, developing an LLM for problem formulation is challenging, due to limited training data, and the complexity of real-world optimisation problems. Several prompt engineering methods have been proposed in the literature to automate problem formulation with LLMs. While the initial results are encouraging, the accuracy of formulations generated by these methods can still be significantly improved. In this paper, we present an LLM-based framework for automating problem formulation in business optimization. Our approach introduces a method for fine-tuning cost-efficient LLMs specifically tailored to specialized business optimization challenges. The experiment results demonstrate that our framework can generate accurate formulations for conventional and real-world business optimisation problems in production scheduling. Extensive analyses show the effectiveness and the convergence of the proposed fine-tuning method. The proposed method also shows very competitive performance when compared with the state-of-the-art prompt engineering methods in the literature when tested on general linear programming problems.

研究の動機と目的

• 複雑なビジネス最適化問題の定式化における専門知識依存を低減すること。
• 大規模な最適化モデルを生成する際のLLMにおけるトークン制限の課題に対処すること。
• LLMが生成する問題定式化の品質を評価するための特化した評価指標を開発すること。
• LLMを用いたエンドツーエンドの問題定式化が、生産スケジューリングのような実世界のビジネスシナリオで実現可能であることを示すこと。
• 最適化の専門知識がなくても、非専門家ユーザーが正しいかつ実行可能な最適化モデルを生成できるようにすること。

提案手法

• 問題記述と対応する実行可能な定式化の小規模で選別されたデータセットを用いて、事前学習済みのコード生成型LLMを微調整すること。
• 複雑な定式化をトークン制限に適合するコンポonentsに分割するために、モジュラー化とプロンプト工学を適用すること。
• 正しさ、完全性、構造的整合性の観点から生成された定式化の品質を評価するためのカスタム評価指標を設計すること。
• 微調整済みLLMのエンコーダーおよびデコーダー埋め込みの意味的クラスタリングを可視化・分析するためにPCAを用いること。
• 制約プログラミングソルバーを用いて定式化を生成・実行し、正しさと出力品質を検証すること。
• 二段階プロセスを採用する：(1) LLMが自然言語入力に基づいてモジュラーなコードを生成し、(2) モジュールを統合して完全で実行可能なモデルを構築する。

Figure 1: Solution overview

実験結果

リサーチクエスチョン

• RQ1 微調整されたLLMは、自然言語記述から生産スケジューリングの正確で実行可能な最適化定式化を生成できるか？
• RQ2 大規模な最適化モデルを生成する際のLLMにおけるトークン制限を、どのように効果的に緩和できるか？
• RQ3 LLMが生成する最適化問題定式化の品質を評価するのに最も適した評価指標は何か？
• RQ4 LLMから学習された埋め込みは、問題記述および定式化における意味的構造をどの程度反映しているか？
• RQ5 提案されたフレームワークは、生産スケジューリング以外のビジネス最適化問題にも一般化可能か？

主な発見

• AI・コ-pilotは、自然言語入力から複雑で大規模な生産スケジューリングモデルを正常に生成した。これには、ランダムなジョブルートと所要時間を持つマクスパン最小化問題も含まれた。
• モジュラー化とプロンプト工学のアプローチにより、LLMのコンテキスト窓制限内に収まるように、複数コンポonentで構成される定式化を効果的に生成できた。
• 埋め込み分析から、デコーダー埋め込みが機能的モジュール（例：制約、出力の印刷）に対応する意味的なクラスタを形成していることが判明し、コード構造に対する意味的理解が示された。
• テストケースにおいて、正常な実行と出力生成が達成されたことから、フレームワークは正確な問題定式化の生成を達成した。
• 本研究の目的に合わせて設計された評価指標は、正しさ、完全性、構造的整合性を含む定式化の品質を効果的に捉えていた。
• モデルは一般化の可能性を示しており、ルーティングや割り当て問題を含む、他の最適化問題タイプに対してもフレームワークが適応可能であることが示された。

(a) CodeRL does not create a complete problem formulation due to token limitation