[論文レビュー] Capabilities of Large Language Models in Control Engineering: A Benchmark Study on GPT-4, Claude 3 Opus, and Gemini 1.0 Ultra

Darioush Kevian, Usman Syed+6 more|arXiv (Cornell University)|Apr 4, 2024

Reservoir Engineering and Simulation Methods被引用数 18

ひとこと要約

要約: 本論文は ControlBench 上で GPT-4、Claude 3 Opus、Gemini 1.0 Ultra をベンチマークし、基礎教育レベルの制御問題データセットで Claude 3 Opus が他を概ね上回ることを示す一方、視覚データの解釈には顕著な課題がある。

ABSTRACT

In this paper, we explore the capabilities of state-of-the-art large language models (LLMs) such as GPT-4, Claude 3 Opus, and Gemini 1.0 Ultra in solving undergraduate-level control problems. Controls provides an interesting case study for LLM reasoning due to its combination of mathematical theory and engineering design. We introduce ControlBench, a benchmark dataset tailored to reflect the breadth, depth, and complexity of classical control design. We use this dataset to study and evaluate the problem-solving abilities of these LLMs in the context of control engineering. We present evaluations conducted by a panel of human experts, providing insights into the accuracy, reasoning, and explanatory prowess of LLMs in control engineering. Our analysis reveals the strengths and limitations of each LLM in the context of classical control, and our results imply that Claude 3 Opus has become the state-of-the-art LLM for solving undergraduate control problems. Our study serves as an initial step towards the broader goal of employing artificial general intelligence in control engineering.

研究の動機と目的

• ControlBench を導入する。自然言語の制御問題データセットとして、基礎教育レベルの制御設計の幅と複雑さを反映する。
• ControlBench 上で主要な LLM（GPT-4、Claude 3 Opus、Gemini 1.0 Ultra）を人間の専門家評価を通じて評価する。
• 精度、推論品質、説明、モデル固有の強みと限界を分析する。
• 自己訂正と視覚データ（プロット）がモデル性能に与える影響を探る。
• 迅速な非専門家評価のための簡略化された ControlBench-C を提供する。

提案手法

• 147 個の学部レベルの制御問題を含む ControlBench を構築する。安定性、時間応答、Bode/Nyquist プロット、ループ整形、先進的トピックなどをカバーする。
• 再現性のために、詳細なステップバイステップ解を伴う LaTeX で問題を注釈する。
• 人間の専門家による ACC および ACC-s のスコアリングを通じて、ゼロショットおよび自己訂正設定で3つの LLM を評価する。
• 誤りモードと視覚データの読み取りミスを分析し、ボトルネックと改善の道を特定する。
• 迅速な自動評価のための縮小版 ControlBench-C を提示する。

実験結果

リサーチクエスチョン

• RQ1 ControlBench でGPT-4、Claude 3 Opus、Gemini 1.0 Ultra は基礎教育用制御問題でどのようにパフォーマンスを示すか？
• RQ2 どのモデルが制御トピック全体で最も強い精度と自己訂正能力を示すか？
• RQ3 LLM が制御問題を解くときの主要な失敗モードは何か、視覚データの解釈は性能にどう影響するか？
• RQ4 簡略化された多択版（ControlBench-C）は、制御バックグラウンドなしで信頼性の高いベンチマークを提供できるか？
• RQ5 結果は、LLM を制御工学教育とワークフローに統合する際にどんな洞察を提供するか？

主な発見

Topics	GPT-4 ACC	GPT-4 ACC-s	Claude 3 Opus ACC	Claude 3 Opus ACC-s	Gemini 1.0 Ultra ACC	Gemini 1.0 Ultra ACC-s
Background	60.7% (17/28)	64.3% (18/28)	75% (21/28)	89.3% (25/28)	53.6% (15/28)	57.1% (16/28)
Stability	57.9% (11/19)	57.9% (11/19)	76.2% (15/19)	89.5% (17/19)	31.6% (6/19)	31.6% (6/19)
Time response	57.1% (12/21)	66.6% (14/21)	76.2% (16/21)	76.2% (16/21)	52.4% (11/21)	57.1% (12/21)
Block diagrams	40.0% (2/5)	40.0% (2/5)	40.0% (2/5)	60.0% (3/5)	0.0% (0/5)	0.0% (0/5)
Control System Design	29.2% (7/24)	29.2% (7/24)	33.3% (8/24)	62.5% (15/24)	25.0% (6/24)	37.5% (9/24)
Bode Analysis	6.66% (1/15)	6.66% (1/15)	13.3% (2/15)	13.3% (2/15)	6.66% (1/15)	6.66% (1/15)
Root-Locus Design	28.6% (2/7)	28.6% (2/7)	42.9% (3/7)	42.9% (3/7)	28.6% (2/7)	28.6% (2/7)
Nyquist Design	0.0% (0/5)	0.0% (0/5)	40.0% (2/5)	40.0% (2/5)	0.0% (0/5)	0.0% (0/5)
Gain/Phase Margins	66.7% (6/9)	66.7% (6/9)	66.7% (6/9)	66.7% (6/9)	33.3% (3/9)	33.3% (3/9)
System Sensitivity Measures	100.0% (3/3)	100.0% (3/3)	100.0% (3/3)	100.0% (3/3)	66.7% (2/3)	100.0% (3/3)
Loop-shaping	25.0% (1/4)	25.0% (1/4)	50.0% (2/4)	75.0% (3/4)	25.0% (1/4)	25.0% (1/4)
Advanced Topics	71.4% (5/7)	71.4% (5/7)	85.7% (6/7)	85.7% (6/7)	42.9% (3/7)	57.1% (4/7)

• Claude 3 Opus は全トピックで最も高い総合 ACC および ACC-s を達成し、優れた精度と自己訂正を示す。
• GPT-4 と Claude 3 Opus は背景数学、安定性、時間応答問題で良好な性能を示し、視覚要素タスクでは Claude 3 Opus が概ね優位に立つ。
• Gemini 1.0 Ultra は他のモデルに比べ全体的なパフォーマンスが後れ、トピック間で一貫して優れるわけではない。
• 全てのモデルはボード、 Nyquist、ルートルートなどのグラフデータの読み取りに苦戦し、視覚言語理解の限界を浮き彫りにしている。
• 自己訂正プロンプトはモデル間で ACC-s を大幅に改善し、反復的推論の実践的価値を示す。
• ControlBench-C はより高速だが狭い評価であり、包括的な推論を捉えきれない可能性がある。