[論文レビュー] DSL or Code? Evaluating the Quality of LLM-Generated Algebraic Specifications: A Case Study in Optimization at Kinaxis

Negin Ayoughi, David Dewar+2 more|arXiv (Cornell University)|Jan 1, 2026

Model-Driven Software Engineering Techniques被引用数 0

ひとこと要約

本論文は、NL の説明から AMPL や Python の仕様を導出する LLM ベースのパイプライン EXEOS を提案し、構造化・反復的改良を通じて DSL（AMPL）仕様がコード品質に匹敵するかそれを上回る可能性を工業系最適化問題で実証的に示す。

ABSTRACT

Model-driven engineering (MDE) provides abstraction and analytical rigour, but industrial adoption in many domains has been limited by the cost of developing and maintaining models. Large language models (LLMs) can help shift this cost balance by supporting direct generation of models from natural-language (NL) descriptions. For domain-specific languages (DSLs), however, LLM-generated models may be less accurate than LLM-generated code in mainstream languages such as Python, due to the latter's dominance in LLM training corpora. We investigate this issue in mathematical optimization, with AMPL, a DSL with established industrial use. We introduce EXEOS, an LLM-based approach that derives AMPL models and Python code from NL problem descriptions and iteratively refines them with solver feedback. Using a public optimization dataset and real-world supply-chain cases from our industrial partner Kinaxis, we evaluate generated AMPL models against Python code in terms of executability and correctness. An ablation study with two LLM families shows that AMPL is competitive with, and sometimes better than, Python, and that our design choices in EXEOS improve the quality of generated specifications.

研究の動機と目的

• LLM が生成する DSL 仕様（AMPL）が、最適化問題における実行可能性と正確性で、LLM が生成するコード（Python）と同等または上回るかを評価する。
• NL 問題記述の構造化が生成仕様の品質に与える影響を調査する。
• ソルバーのフィードバックに導かれた反復的改良ループがエラー処理に与える効果を評価する。
• 推論型 LLM と指示追従型 LLM の実行可能な仕様生成における比較を行う。
• 仕様品質と実行可能性を改善するデータ処理ステップの役割を検討する。

提案手法

• EXEOS を提案：NL 問題記述を構造化し、関連データを変換・生成または改良した形式仕様を AMPL または Python で作成・改良し、ソルバーのフィードバックで反復的に解く LLM ベースのパイプライン。
• 2 つのデータセット（Public と Kinaxis Industry）と 2 言語（AMPL と Python）を用い、構造化と改良の選択に対する因子実験を実施。
• 4 つの LLM（推論型 2、指示追従型 2）を用い、8 種類の EXEOS バリアントを組み合わせ、計 10,560 件の仕様インスタンスを生成。
• 作成された仕様の実行性（コンパイル/実行成功）と正確性（正解と比べた相対誤差）を評価。
• コード、データセット、評価スクリプトを含む再現パッケージを提供。

Figure 4. EXEOS – our approach for transforming NL descriptions of optimization problems into formal specifications.

実験結果

リサーチクエスチョン

• RQ1 RQ1: LLM が生成した AMPL と Python の仕様は、実行性と正確性の点でどう比較されるか？
• RQ2 RQ2: NL 問題記述の構造化は実行性と正確性にどのような影響を与えるか？
• RQ3 RQ3: 改良ループは実行性と正確性にどのように影響するか？
• RQ4 RQ4: 推論型と指示追従型の LLM は結果にどのような影響を与えるか？
• RQ5 RQ5: データ変換ステップは実行性と正確性にどのような影響を与えるか？

主な発見

• 構造化ステップは生成前に一貫してコンパイルエラーを低減し、意図した最適化目的との整合性を向上させる。
• 反復的改良により初期の失敗を自動的に修正可能となり、実行性が向上する。
• AMPL モデルの生成は、Python コードの生成より体系的に劣るわけでも良いわけでもなく、特に推論型 LLM では AMPL がしばしば同等またはそれ以上の性能を示す。
• 構造化された NL 記述と反復的改良を用いると、公開データセット上で AMPL モデルの実行性が高まり、Kinaxis Industry データでは Python と同等の性能に達する。
• データ処理を明示的に扱う EXEOS アプローチは、データ管理ステップを別に設けないベースラインよりも、実行性と正確性の点で優れている。
• 66 問題、8 種類のバリアント、4 LLM、5 回の繰り返しにわたり、本研究は 10,560 件の仕様インスタンスを扱い、総計約 484 時間の計算を要した。

Figure 5. Comparison of EXEOS variants that generate AMPL models and Python code from structured descriptions with refinement loops, showing average execution success rate, average number of zero-error solutions, and average relative error when applied with reasoning LLMs on the Public and Industry