[论文解读] Diagnosing Infeasible Optimization Problems Using Large Language Models

Hao Chen, Gonzalo E. Constante‐Flores+1 more|arXiv (Cornell University)|Aug 23, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出 OptiChat，一种基于大语言模型（LLM）的聊天机器人，通过自然语言诊断不可行的优化问题，利用 GPT-4 与优化求解器集成，识别不可约不可行子集（IIS），并提供可操作的、人类可读的解释与修复建议。该系统在专家与非专家用户中均实现了高达 87.20–90.93% 的准确率和良好的用户满意度，证明了 LLM 在交互式、可访问的优化问题排查中的可行性。

ABSTRACT

Decision-making problems can be represented as mathematical optimization models, finding wide applications in fields such as economics, engineering and manufacturing, transportation, and health care. Optimization models are mathematical abstractions of the problem of making the best decision while satisfying a set of requirements or constraints. One of the primary barriers to deploying these models in practice is the challenge of helping practitioners understand and interpret such models, particularly when they are infeasible, meaning no decision satisfies all the constraints. Existing methods for diagnosing infeasible optimization models often rely on expert systems, necessitating significant background knowledge in optimization. In this paper, we introduce OptiChat, a first-of-its-kind natural language-based system equipped with a chatbot GUI for engaging in interactive conversations about infeasible optimization models. OptiChat can provide natural language descriptions of the optimization model itself, identify potential sources of infeasibility, and offer suggestions to make the model feasible. The implementation of OptiChat is built on GPT-4, which interfaces with an optimization solver to identify the minimal subset of constraints that render the entire optimization problem infeasible, also known as the Irreducible Infeasible Subset (IIS). We utilize few-shot learning, expert chain-of-thought, key-retrieve, and sentiment prompts to enhance OptiChat's reliability. Our experiments demonstrate that OptiChat assists both expert and non-expert users in improving their understanding of the optimization models, enabling them to quickly identify the sources of infeasibility.

研究动机与目标

• 为解决不可行优化模型的诊断难题，此类问题因复杂的数学表达形式，使非专家难以理解。
• 开发一种以用户为中心的自然语言接口，使用户无需编写代码或具备深入的优化知识，即可实现对不可行优化问题的交互式排查。
• 通过先进的提示工程技术与优化求解器集成，提升 LLM 在优化诊断中的可靠性。
• 评估系统在不同优化专业水平用户中的有效性。
• 探索大语言模型作为自主智能体在现实世界优化决策支持中的潜力。

提出的方法

• OptiChat 基于 GPT-4 构建，并与优化求解器（如 CPLEX、Gurobi）集成，可自动检测导致不可行性的不可约不可行子集（IIS），即导致冲突的最小约束集合。
• 系统采用少样本学习技术，提供上下文相关的模型诊断与修复示例，提升响应的一致性。
• 采用专家思维链提示技术，结构化推理步骤，增强解释的可解释性与准确性。
• 情感提示引导模型生成有帮助、建设性且用户友好的回应，提升用户信任与参与度。
• 提出一种新型的关键字提取提示技术，直接从模型脚本中提取参数与约束名称，提升对模型组件引用的精确度。
• GPT-4 的函数调用功能使 OptiChat 能够根据用户反馈动态修改模型参数（如添加松弛变量），以测试可行性。

实验结果

研究问题

• RQ1 基于大语言模型的聊天机器人是否能有效通过自然语言诊断不可行的优化问题，而无需用户编写代码或具备优化专业知识？
• RQ2 与专家级诊断相比，LLM 生成的解释与修复建议在准确性和可靠性方面表现如何？
• RQ3 少样本学习、思维链提示与情感提示等提示技术在多大程度上提升了基于 LLM 的优化助手的鲁棒性与可用性？
• RQ4 用户的专业水平在多大程度上影响其对聊天机器人解释与排查支持质量的感知？
• RQ5 像 OptiChat 这样的系统能否减少识别与解决现实世界优化模型中不可行性问题所需的时间与认知负荷？

主要发现

• 在评估响应质量方面，OptiChat 在非经验用户中的满意度达到 90.93%，在经验用户中为 87.20%，表明其在不同用户群体中均具有高度可靠性。
• 排查成功率方面，非经验用户为 88%，经验用户为 96.77%，表明系统在引导用户修复不可行模型方面具有高度有效性。
• 参与者一致表示，OptiChat 的解释清晰易懂，显著提升了理解力，即使他们缺乏优化背景知识。
• 系统提供准确、分步的修复建议，尤其是针对单参数修改的建议，被高度评价并频繁视为核心优势。
• 用户赞赏使用现实世界类比与简化语言，这有助于提升理解力并降低认知负荷。
• 反馈表明，根据用户专业水平调整语言表达可进一步提升可用性，提示未来版本需引入自适应解释策略。