[논문 리뷰] Diagnosing Infeasible Optimization Problems Using Large Language Models

Hao Chen, Gonzalo E. Constante‐Flores외 1명|arXiv (Cornell University)|2023. 08. 23.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 자연어를 통해 비가능한 최적화 문제를 진단하는 LLM 기반 챗봇인 OptiChat을 소개한다. GPT-4와 최적화 솔버 통합을 통해 비가능성의 근본 원인인 불가소소거집합(IIS)을 식별하고, 실행 가능한 인간 친화적인 설명과 수정 제안을 제공한다. 전문가 및 비전문가 사용자 모두에서 높은 정확도(87.20–90.93%)와 높은 사용자 만족도를 달성하여, LLM이 상호작용적이고 접근 가능한 최적화 문제 진단에 활용될 수 있음을 입증한다.

ABSTRACT

Decision-making problems can be represented as mathematical optimization models, finding wide applications in fields such as economics, engineering and manufacturing, transportation, and health care. Optimization models are mathematical abstractions of the problem of making the best decision while satisfying a set of requirements or constraints. One of the primary barriers to deploying these models in practice is the challenge of helping practitioners understand and interpret such models, particularly when they are infeasible, meaning no decision satisfies all the constraints. Existing methods for diagnosing infeasible optimization models often rely on expert systems, necessitating significant background knowledge in optimization. In this paper, we introduce OptiChat, a first-of-its-kind natural language-based system equipped with a chatbot GUI for engaging in interactive conversations about infeasible optimization models. OptiChat can provide natural language descriptions of the optimization model itself, identify potential sources of infeasibility, and offer suggestions to make the model feasible. The implementation of OptiChat is built on GPT-4, which interfaces with an optimization solver to identify the minimal subset of constraints that render the entire optimization problem infeasible, also known as the Irreducible Infeasible Subset (IIS). We utilize few-shot learning, expert chain-of-thought, key-retrieve, and sentiment prompts to enhance OptiChat's reliability. Our experiments demonstrate that OptiChat assists both expert and non-expert users in improving their understanding of the optimization models, enabling them to quickly identify the sources of infeasibility.

연구 동기 및 목표

• 비가능한 최적화 모델을 진단하는 데 있어, 복잡한 수학적 수식으로 인해 비전문가가 이해하기 어려운 문제를 해결하기 위한 것이다.
• 코딩이나 최적화 지식이 없이도 상호작용적으로 비가능한 최적화 문제를 진단할 수 있는 인간 중심의 자연어 인터페이스를 개발하기 위한 것이다.
• 고급 프롬프팅 기법과 최적화 솔버 통합을 통해 LLM의 최적화 진단 신뢰도를 향상시키기 위한 것이다.
• 다양한 최적화 전문성 수준을 가진 사용자들 대상으로 시스템의 효과성을 평가하기 위한 것이다.
• 대규모 언어 모델이 실생활 의사결정 지원을 위한 자율 에이전트로 활용될 잠재력을 탐색하기 위한 것이다.

제안 방법

• OptiChat는 GPT-4 기반으로 구축되었으며, 최적화 솔버(CPLEX, Gurobi 등)와 통합되어 비가능성의 원인이 되는 최소 충돌 제약 조건 집합인 불가소소거집합(IIS)을 자동으로 탐지한다.
• 소수의 예시를 활용한 프롬프팅 기법을 통해 모델 진단 및 수정에 관련된 맥락 기반 예시를 제공함으로써 응답의 일관성을 향상시킨다.
• 전문가 사고의 흐름 프롬프팅을 사용하여 추론 단계를 체계화함으로써 설명의 해석 가능성과 정확도를 향상시킨다.
• 감성 프롬프팅을 통해 모델이 도움이 되고, 건설적이며 사용자 友好的한 응답을 생성하도록 유도함으로써 사용자 신뢰도와 참여도를 향상시킨다.
• 모델 스크립트에서 직접 파라미터 및 제약 조건 이름을 추출하는 새로운 핵심 정보 추출 프롬프팅 기법을 도입하여 모델 구성 요소 참조의 정밀도를 높였다.
• GPT-4의 함수 호출 기능을 활용해 사용자 피드백에 따라 모델 파라미터(예: 슬랙 변수 추가 등)를 동적으로 수정함으로써 가용성 여부를 테스트할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 LLM 기반 챗봇이 코드 작성이나 최적화 전문 지식 없이도 자연어를 통해 비가능한 최적화 문제를 효과적으로 진단할 수 있는가?
• RQ2 전문가 수준의 진단과 비교해 LLM이 생성한 설명과 수정 제안의 정확성과 신뢰성은 어느 정도인가?
• RQ3 소수의 예시 프롬프팅, 사고의 흐름, 감성 프롬프팅과 같은 프롬프팅 기법이 LLM 기반 최적화 보조자 도구의 강건성과 사용성에 어느 정도 기여하는가?
• RQ4 사용자의 전문성 수준이 챗봇의 설명과 문제 해결 지원의 인식 품질과 효과성에 어떤 영향을 미치는가?
• RQ5 OptiChat와 같은 시스템이 실제 최적화 모델에서 비가용성을 식별하고 해결하는 데 소요되는 시간과 인지 부담을 줄일 수 있는가?

주요 결과

• 비경험이나 낮은 전문성 수준의 사용자 중 90.93%가 OptiChat의 응답 품질 평가에 만족했고, 경험 많은 사용자 중 87.20%가 동일한 평가에 만족하여 다양한 사용자 그룹 간 높은 신뢰성을 입증했다.
• 비경험자 사용자의 문제 해결 성공률는 88%였고, 경험이 많은 사용자는 96.77%였으며, 이는 비가용성 모델 수정을 안내하는 데 높은 효과성을 보임을 시사한다.
• 참가자들은 OptiChat의 설명이 명확하고 접근 가능하며, 최적화 배경 지식이 없어도 이해도를 높이는 데 기여한다고 일관되게 평가했다.
• 특히 단일 파라미터 수정에 대한 정확하고 단계별로 제시된 수정 제안 기능이 매우 유용하며 자주 언급되는 핵심 강점으로 평가되었다.
• 실생활 예시와 간결한 언어 사용이 이해도 향상과 인지 부담 감소에 기여하여 사용자들이 높이 평가했다.
• 사용자 전문성 수준에 맞춘 언어 적응 전략이 사용성 향상에 기여할 수 있음을 시사하며, 향후 버전에서 적응형 설명 전략 도입이 필요하다는 점이 피드백으로 제기되었다.