[論文レビュー] OptiMUS: Optimization Modeling Using MIP Solvers and large language models

Ali AhmadiTeshnizi, Wenzhi Gao+1 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用数 8

ひとこと要約

OptiMUS は自然言語から MILP 問題を定式化し、ソルバーコードを生成し、テストを実行し、問題を解くために反復的に修正する LLM ベースのエージェント。NLP4LP でベンチマークされ、基本的 prompting と比較して成功率がほぼ倍増することを示している。

ABSTRACT

Optimization problems are pervasive across various sectors, from manufacturing and distribution to healthcare. However, most such problems are still solved heuristically by hand rather than optimally by state-of-the-art solvers, as the expertise required to formulate and solve these problems limits the widespread adoption of optimization tools and techniques. We introduce OptiMUS, a Large Language Model (LLM)-based agent designed to formulate and solve MILP problems from their natural language descriptions. OptiMUS is capable of developing mathematical models, writing and debugging solver code, developing tests, and checking the validity of generated solutions. To benchmark our agent, we present NLP4LP, a novel dataset of linear programming (LP) and mixed integer linear programming (MILP) problems. Our experiments demonstrate that OptiMUS solves nearly twice as many problems as a basic LLM prompting strategy. OptiMUS code and NLP4LP dataset are available at \href{https://github.com/teshnizi/OptiMUS}{https://github.com/teshnizi/OptiMUS}

研究の動機と目的

• 最適化の専門知識ギャップを埋めるために、LLM を活用して自然言語説明から MILP 問題を定式化して解くこと。
• 自然言語を数理的定式化とソルバーコードへ変換する標準化された SNOP 表現を作成すること。
• データ拡張、自動テスト、反復デバッグによって素朴な prompting への改善をデモンストレーションすること。
• LLM 支援の最適化モデリングと解法を評価するベンチマーク NLP4LP データセットを提供すること。

提案手法

• 自然言語で最適化問題を six フィールドを含む SNOP を定義すること（問題タイプ、情報、ソルバーの好みを含む）。
• SNOP を変数・制約・目的関数を含む数学的定式化へ変換すること。
• JSON からデータを読み込み、ソルバー（Gurobi または cvxpy）を呼び出し、結果を出力する Python ソルバーコードを生成すること。
• コードを実行し、解の妥当性と制約充足を検証するユニットテストを生成すること。
• ソルバーのエラーやテストの失敗を自動的に用いて修正を繰り返し、成功または最大反復回数に達するまで続けること。
• 問題を言い換えで拡張し、各バリアントを解くことで解の可能性を高めること。

実験結果

リサーチクエスチョン

• RQ1 LLM ベースのエージェントは自然言語の記述から正しい MILP 定式化を作ることができるか。
• RQ2 自動テスト、デバッグ、拡張が LLM 生成の最適化コードの解決性と信頼性にどのように影響するか。
• RQ3 数値データと問題説明を分離することが LLM のスケーラビリティとパフォーマンスに与える影響は何か。
• RQ4 OptiMUS は NLP4LP のインスタンス解決において基本 prompting と比べてどうか。
• RQ5 テスト品質と解の正確性を向上させる上で人間の監督の役割はどのようなものか。

主な発見

• OptiMUS は直接 prompting に比べて解決率を 91% 増加させる。
• NLP4LP は LP および MILP の 52 件のインスタンスからなる（41 LP、11 MILP）。
• GPT-4 ベースの実行は、デバッグ、自動テスト、監督付きテスト、拡張によって段階的な改善を示す。
• 問題の言い換えと複数回の反復による拡張は、単一の prompting では解けない問題を解くことを可能にする。
• OptiMUS は Gurobi または cvxpy を用いた実行可能なソルバーコードを生成し、ユニットテストで出力を検証できる。