[논문 리뷰] OptiMUS: Optimization Modeling Using MIP Solvers and large language models

Ali AhmadiTeshnizi, Wenzhi Gao외 1명|arXiv (Cornell University)|2023. 10. 09.

Topic Modeling인용 수 8

한 줄 요약

OptiMUS는 자연어로부터 MILP 문제를 형성하고, 해결기 코드를 생성하며, 테스트를 실행하고, 문제를 반복적으로 수정하여 최적화 문제를 해결하는 LLM 기반 에이전트이다. 그것은 NLP4LP에서 벤치마크를 통해 기본 프롬프트 대비 성공률이 거의 두 배 증가하는 것을 시연한다.

ABSTRACT

Optimization problems are pervasive across various sectors, from manufacturing and distribution to healthcare. However, most such problems are still solved heuristically by hand rather than optimally by state-of-the-art solvers, as the expertise required to formulate and solve these problems limits the widespread adoption of optimization tools and techniques. We introduce OptiMUS, a Large Language Model (LLM)-based agent designed to formulate and solve MILP problems from their natural language descriptions. OptiMUS is capable of developing mathematical models, writing and debugging solver code, developing tests, and checking the validity of generated solutions. To benchmark our agent, we present NLP4LP, a novel dataset of linear programming (LP) and mixed integer linear programming (MILP) problems. Our experiments demonstrate that OptiMUS solves nearly twice as many problems as a basic LLM prompting strategy. OptiMUS code and NLP4LP dataset are available at \href{https://github.com/teshnizi/OptiMUS}{https://github.com/teshnizi/OptiMUS}

연구 동기 및 목표

• 전문가 지식 격차를 LLM을 활용해 자연어 설명에서 MILP 문제를 형성하고 해결하는 것으로 해소한다.
• 자연어를 수학적 형식화와 해결기 코드로 변환하기 위한 표준화된 SNOP 표현을 생성한다.
• 데이터 확장, 자동 테스트, 반복 디버깅을 통해 순진한 프롬프트에 비해 개선을 입증한다.
• LLM 보조 최적화 모델링 및 해결을 평가하기 위한 벤치마크 NLP4LP 데이터를 제공한다.

제안 방법

• 문제 유형, 정보, 해결기 선호도 등을 포함한 여섯 개 필드로 자연어에서 최적화 문제를 구조화하기 위해 SNOP를 정의한다.
• SNOP를 변수, 제약, 목적 함수가 있는 수학적 형식으로 변환한다.
• JSON에서 데이터를 읽고 해결기(Gurobi 또는 cvxpy)를 호출하며 결과를 출력하는 파이썬 해결 코드 생성한다.
• 코드를 실행하고 해의 타당성과 제약 충족 여부를 검증하기 위한 단위 테스트를 생성한다.
• 해결기 오류 또는 테스트 실패를 자동으로 수정하여 성공하거나 최대 반복 횟수에 도달할 때까지 수정한다.
• 문제를 재서술하고 각 변형을 해결하여 해의 확률을 높인다.

실험 결과

연구 질문

• RQ1 자연어 설명에서 올바른 MILP 형식을 형성할 수 있는 LLM 기반 에이전트가 있는가?
• RQ2 자동 테스트, 디버깅 및 보강이 LLM 생성 최적화 코드의 해결 가능성과 신뢰성에 어떤 영향을 미치는가?
• RQ3 문제 설명과 숫자 데이터를 분리하는 것이 LLM의 확장성과 성능에 어떤 영향을 미치는가?
• RQ4 OptiMUS가 NLP4LP 인스턴스 해결에서 기본 프롬프트와 비교하여 어떤 차이가 있는가?
• RQ5 테스트 품질과 해의 정확도를 향상시키는 데 인간 감독의 역할은 무엇인가?

주요 결과

• OptiMUS는 직접 프롬프트 대비 해결률을 91% 증가시킨다.
• NLP4LP는 LP 및 MILP 문제의 52개 인스턴스로 구성된다(41 LP 및 11 MILP).
• GPT-4 기반 실행은 디버깅, 자동 테스트, 감독 테스트, 보강으로 점진적 개선을 보여준다.
• 문제 재서술 및 다중 반복을 통한 보강은 단일 프롬프트로는 해결할 수 없는 문제를 해결하게 한다.
• OptiMUS는 Gurobi 또는 cvxpy를 사용하여 실행 가능한 해결 코드를 생성하고 단위 테스트로 출력을 검증할 수 있다.