[論文レビュー] Configuration Validation with Large Language Models

Xinyu Lian, Yinfang Chen+5 more|arXiv (Cornell University)|Oct 15, 2023

Topic ModelingComputer Science被引用数 3

ひとこと要約

この論文では、微調整を伴わずに、GPT や Codex などの大規模言語モデル（LLM）を活用して構成検証を実行する汎用フレームワーク、Ciri を紹介する。有効な例と誤った構成の例を用いた少数ショットプロンプト工学と、 hallucination を軽減するための LLM の出力集約を活用することで、6 つのオープンソースシステムにおいて、最大 0.75 のファイル単位 F1 スコアおよび最大 0.56 のパラメータ単位 F1 スコアを達成した。これは、依存関係やバージョン関連の誤構成を検出する課題があるものの、LLM による自動構成検証の可能性を示している。

ABSTRACT

Misconfigurations are major causes of software failures. Existing practices rely on developer-written rules or test cases to validate configurations, which are expensive. Machine learning (ML) for configuration validation is considered a promising direction, but has been facing challenges such as the need of large-scale field data and system-specific models. Recent advances in Large Language Models (LLMs) show promise in addressing some of the long-lasting limitations of ML-based configuration validation. We present a first analysis on the feasibility and effectiveness of using LLMs for configuration validation. We empirically evaluate LLMs as configuration validators by developing a generic LLM-based configuration validation framework, named Ciri. Ciri employs effective prompt engineering with few-shot learning based on both valid configuration and misconfiguration data. Ciri checks outputs from LLMs when producing results, addressing hallucination and nondeterminism of LLMs. We evaluate Ciri's validation effectiveness on eight popular LLMs using configuration data of ten widely deployed open-source systems. Our analysis (1) confirms the potential of using LLMs for configuration validation, (2) explores design space of LLMbased validators like Ciri, and (3) reveals open challenges such as ineffectiveness in detecting certain types of misconfigurations and biases towards popular configuration parameters.

研究の動機と目的

• 微調整を伴わない事前学習済み LLM を用いた構成検証の可能性を調査すること。
• 複数の LLM を統合する汎用フレームワーク Ciri を開発すること。
• 成熟したオープンソースシステムからの実際の構成データを用いて、LLM を用いた検証の有効性を評価すること。
• 特に少数ショット学習を用いたプロンプト工学における、LLM ベースの検証器の設計空間を理解すること。
• 特に複雑な誤構成に対して、LLM ベースの検証に見られる制限やバイアスを特定すること。

提案手法

• Ciri は、構成検証に複数の事前学習済み LLM を統合する汎用フレームワークである。
• 有効な構成と既知の誤った構成をデモンストレーションとして用いた少数ショットプロンプト工学を採用している。
• 複数の LLM の出力を集約することで、信頼性を向上させ、 hallucination や非決定的動作の影響を軽減している。
• 検証結果は、コンSENSUSに基づく集約戦略を用いて LLM の出力を統合することで生成される。
• モデルの微調整やコード生成を必要とせず、プロンプトベースの推論に依存している。
• 実際の構成データを用いて、6 つの広く展開されたオープンソースシステムで評価が行われた。

Figure 1 . Example 1 and 2 show the LLM correctly catches and reasons the misconfigurations. Example 3 and 4 show the LLM misses a misconfiguration or reports a valid configuration as erroneous.

実験結果

リサーチクエスチョン

• RQ1 事前学習済み LLM は、微調整やコード生成を伴わずして、構成検証を効果的に行えるか？
• RQ2 有効な構成と誤った構成の両方を用いた少数ショットプロンプト工学は、LLM が構成検証を実行するのをどの程度効果的に導けるか？
• RQ3 LLM ベースの検証器は、依存関係やバージョン関連の問題のような特定のタイプの誤構成をどの程度検出できるか？
• RQ4 LLM ベースの検証器は、一般的に使用される構成パラメータにどの程度バイアスを示すか？
• RQ5 複数の LLM の出力を集約することで、検証の信頼性がどの程度向上し、hallucination がどの程度軽減されるか？

主な発見

• Ciri は、5 つの LLM を用いて 6 つのオープンソースシステムで、最大 0.75 のファイル単位 F1 スコアおよび最大 0.56 のパラメータ単位 F1 スコアを達成した。
• フレームワークは、微調整を伴わず、プロンプト工学のみで LLM が効果的な構成検証器として機能できることを示している。
• LLM は依存関係違反やバージョン関連の誤構成を検出するのに苦労しており、複雑な構成関係に関する推論のギャップが示唆されている。
• 検証プロセスは、一般的な構成パラメータにバイアスを示しており、あまり使われないが重要な誤構成を無視する可能性がある。
• 複数の LLM の出力を集約することで、信頼性が向上し、hallucination や非決定的動作の影響を軽減できる。
• 有望な結果が得られたが、LLM ベースの検証は特定の複雑な誤構成パターンに対しては依然として効果がなく、今後の研究における未解決の課題を示している。

Figure 2 . System overview of Ciri.