[论文解读] OptiMUS: Optimization Modeling Using MIP Solvers and large language models

Ali AhmadiTeshnizi, Wenzhi Gao+1 more|arXiv (Cornell University)|Oct 9, 2023

Topic Modeling被引用 8

一句话总结

OptiMUS 是一个基于大型语言模型的代理，从自然语言表述中制定 MILP 问题、生成求解器代码、运行测试并迭代修复问题以求解优化问题。它在 NLP4LP 上的基准测试显示，与基本提示相比成功率几乎翻倍。

ABSTRACT

Optimization problems are pervasive across various sectors, from manufacturing and distribution to healthcare. However, most such problems are still solved heuristically by hand rather than optimally by state-of-the-art solvers, as the expertise required to formulate and solve these problems limits the widespread adoption of optimization tools and techniques. We introduce OptiMUS, a Large Language Model (LLM)-based agent designed to formulate and solve MILP problems from their natural language descriptions. OptiMUS is capable of developing mathematical models, writing and debugging solver code, developing tests, and checking the validity of generated solutions. To benchmark our agent, we present NLP4LP, a novel dataset of linear programming (LP) and mixed integer linear programming (MILP) problems. Our experiments demonstrate that OptiMUS solves nearly twice as many problems as a basic LLM prompting strategy. OptiMUS code and NLP4LP dataset are available at \href{https://github.com/teshnizi/OptiMUS}{https://github.com/teshnizi/OptiMUS}

研究动机与目标

• 通过利用 LLM 从自然语言描述中制定并求解 MILP 问题，弥合优化中的专家知识差距。
• 创建标准化的 SNOP 表示，将自然语言转化为数学表达式和求解器代码。
• 通过数据扩增、自动化测试和迭代调试，展示对朴素提示的改进。
• 提供一个基准 NLP4LP 数据集，用于评估 LLM 辅助的优化建模与求解。

提出的方法

• 定义 SNOP，以六个字段（包括问题类型、信息和求解器偏好）来结构化自然语言中的优化问题。
• 将 SNOP 转换为带变量、约束和目标函数的数学表达式。
• 生成从 JSON 读取数据、调用求解器（Gurobi 或 cvxpy）并输出结果的 Python 求解器代码。
• 执行代码并生成单元测试，以验证解的有效性和对约束的满足情况。
• 利用求解器错误或测试失败自动修改代码，直到成功或达到最大迭代次数。
• 通过改写问题并求解每个变体来扩充问题，以提高获得解的概率。

实验结果

研究问题

• RQ1 基于 LLM 的代理是否能够从自然语言描述中形成正确的 MILP 表述？
• RQ2 自动化测试、调试和扩充如何影响 LLM 生成的优化代码的可求解性与可靠性？
• RQ3 将数值数据与问题描述分离对 LLM 的可扩展性与性能有何影响？
• RQ4 OptiMUS 与基于简单提示的做法在解决 NLP4LP 实例上有何比较？
• RQ5 人工监督在提升测试质量和解的准确性方面起了什么作用？

主要发现

• OptiMUS 相比直接提示将求解率提高了 91%。
• NLP4LP 包含 52 个 LP 和 MILP 问题实例（其中 41 个 LP、11 个 MILP）。
• 基于 GPT-4 的运行在调试、自动化测试、受监督测试和扩充下呈现渐进改进。
• 通过对问题进行改写和多轮迭代的扩增，可以解决单一提示无法解决的问题。
• OptiMUS 能使用 Gurobi 或 cvxpy 生成可执行的求解器代码，并通过单元测试验证输出。