[논문 리뷰] Capabilities of Large Language Models in Control Engineering: A Benchmark Study on GPT-4, Claude 3 Opus, and Gemini 1.0 Ultra

Darioush Kevian, Usman Syed외 6명|arXiv (Cornell University)|2024. 04. 04.

Reservoir Engineering and Simulation Methods인용 수 18

한 줄 요약

요지는: 논문은 ControlBench에서 GPT-4, Claude 3 Opus, Gemini 1.0 Ultra를 벤치마크하여 학부 제어 문제 데이터셋인 ControlBench에서 Claude 3 Opus가 일반적으로 타 모형을 능가하는 경향을 보이며, 시각 데이터 해석에서 상당한 도전이 있음을 보여준다.

ABSTRACT

In this paper, we explore the capabilities of state-of-the-art large language models (LLMs) such as GPT-4, Claude 3 Opus, and Gemini 1.0 Ultra in solving undergraduate-level control problems. Controls provides an interesting case study for LLM reasoning due to its combination of mathematical theory and engineering design. We introduce ControlBench, a benchmark dataset tailored to reflect the breadth, depth, and complexity of classical control design. We use this dataset to study and evaluate the problem-solving abilities of these LLMs in the context of control engineering. We present evaluations conducted by a panel of human experts, providing insights into the accuracy, reasoning, and explanatory prowess of LLMs in control engineering. Our analysis reveals the strengths and limitations of each LLM in the context of classical control, and our results imply that Claude 3 Opus has become the state-of-the-art LLM for solving undergraduate control problems. Our study serves as an initial step towards the broader goal of employing artificial general intelligence in control engineering.

연구 동기 및 목표

• ControlBench를 소개합니다. 이는 학부 제어 설계의 폭과 복잡성을 반영하는 자연어 제어 문제 데이터셋입니다.
• ControlBench에서 선도적인 LLM(GPT-4, Claude 3 Opus, Gemini 1.0 Ultra)을 인간 전문가 평가를 통해 평가합니다.
• 정확도, 추론 품질 및 설명, 모델별 강점과 한계를 분석합니다.
• 시스템 자기 교정 및 시각 데이터(도표)가 모델 성능에 미치는 영향을 탐구합니다.
• 빠른 비전문가 평가를 위한 간소화된 ControlBench-C를 제공합니다.

제안 방법

• 147개의 학부 제어 문제를 포함하는 ControlBench를 구성합니다. 문제 주제는 안정성, 시간 응답, Bode/Nyquist 도표, 루프 형태화, 고급 주제를 다룹니다.
• 재현성을 위해 자세한 단계별 해법을 LaTeX로 주석 처리합니다.
• 세 가지 LLM을 제로샷 및 자기 교정 설정에서 인간 전문가의 정확도(ACC) 및 자기 교정 정확도(ACC-s) 채점으로 평가합니다.
• 오류 모드와 시각 데이터 오독을 분석하여 병목 현상과 개선 방안을 식별합니다.
• 빠른 자동 평가를 위한 축소된 ControlBench-C 변형을 제시합니다.

실험 결과

연구 질문

• RQ1 ControlBench에서 GPT-4, Claude 3 Opus, Gemini 1.0 Ultra가 학부 제어 문제에서 어떻게 성능을 보이나요?
• RQ2 어떤 모델이 제어 주제 전반에서 가장 강한 정확도와 자기 교정 능력을 보이나요?
• RQ3 LLM이 제어 문제를 해결할 때의 주요 실패 모드와 시각 데이터 해석이 성능에 미치는 영향은 무엇인가요?
• RQ4 제 simplified 다지선다 버전(ControlBench-C)이 제어 배경 지식 없이도 신뢰성 있게 LLM을 벤치마크할 수 있나요?
• RQ5 결과가 제어 공학 교육 및 워크플로우에 LLM을 통합하는 데 어떤 통찰을 제공하나요?

주요 결과

• Claude 3 Opus는 주제 전반에서 가장 높은 ACC 및 ACC-s를 달성하여 우수한 정확도와 자기 교정을 나타냅니다.
• GPT-4와 Claude 3 Opus는 배경 수학, 안정성, 시간 응답 문제에서 잘 작동하며, Claude 3 Opus는 시각 구성 요소 작업에서 일반적으로 선도합니다.
• Gemini 1.0 Ultra는 전반적인 성능에서 뒤처지며 주제별로 일관되게 우수하지 않습니다.
• 모든 모델은 보드, 나이퀴스트, 루트-로커스 도표와 같은 그래픽 데이터를 읽는 데 어려움을 겪으며, 시각적 언어 이해의 한계를 강조합니다.
• 자기 교정 프롬프트는 모델 전반에서 ACC-s를 크게 향상시키며, 반복적 추론의 실용적 가치를 보여줍니다.
• ControlBench-C는 LLM 능력을 빠르게 평가하는 좁은 범위의 방법을 제공하지만 포괄적 추론을 포착하지 못할 수 있습니다.