[论文解读] Configuration Validation with Large Language Models

Xinyu Lian, Yinfang Chen+5 more|arXiv (Cornell University)|Oct 15, 2023

Topic ModelingComputer Science被引用 3

一句话总结

本文提出了 Ciri，一种通用框架，利用 GPT 和 Codex 等大型语言模型（LLMs）在无需微调的情况下进行配置验证。通过使用有效配置和错误配置示例的少样本提示工程，并聚合 LLM 输出以减轻幻觉影响，Ciri 在六个开源系统上实现了最高 0.75 的文件级 F1 分数和最高 0.56 的参数级 F1 分数，证明了 LLM 在自动化配置验证中的可行性，尽管在检测依赖关系和版本相关错误配置方面仍存在挑战。

ABSTRACT

Misconfigurations are major causes of software failures. Existing practices rely on developer-written rules or test cases to validate configurations, which are expensive. Machine learning (ML) for configuration validation is considered a promising direction, but has been facing challenges such as the need of large-scale field data and system-specific models. Recent advances in Large Language Models (LLMs) show promise in addressing some of the long-lasting limitations of ML-based configuration validation. We present a first analysis on the feasibility and effectiveness of using LLMs for configuration validation. We empirically evaluate LLMs as configuration validators by developing a generic LLM-based configuration validation framework, named Ciri. Ciri employs effective prompt engineering with few-shot learning based on both valid configuration and misconfiguration data. Ciri checks outputs from LLMs when producing results, addressing hallucination and nondeterminism of LLMs. We evaluate Ciri's validation effectiveness on eight popular LLMs using configuration data of ten widely deployed open-source systems. Our analysis (1) confirms the potential of using LLMs for configuration validation, (2) explores design space of LLMbased validators like Ciri, and (3) reveals open challenges such as ineffectiveness in detecting certain types of misconfigurations and biases towards popular configuration parameters.

研究动机与目标

• 探究在不进行微调的情况下，使用预训练 LLM 进行配置验证的可行性。
• 开发一种通用框架 Ciri，集成多个 LLM 以实现配置验证。
• 使用成熟开源系统的实际配置数据，评估基于 LLM 的验证效果。
• 理解基于 LLM 的验证器的设计空间，特别是使用少样本学习进行提示工程的方法。
• 识别基于 LLM 的配置验证中的局限性和偏差，特别是针对复杂错误配置的情况。

提出的方法

• Ciri 是一种通用框架，集成多个预训练 LLM 以实现配置验证。
• 采用使用有效配置和已知错误配置作为示范的少样本提示工程。
• 通过聚合多个 LLM 的输出来提高可靠性，并减少幻觉和非确定性的影响。
• 通过基于共识的聚合策略组合 LLM 输出，生成验证结果。
• 该方法无需模型微调或代码生成，完全依赖提示驱动的推理。
• 系统使用真实配置数据在六个广泛部署的开源系统上进行了评估。

Figure 1 . Example 1 and 2 show the LLM correctly catches and reasons the misconfigurations. Example 3 and 4 show the LLM misses a misconfiguration or reports a valid configuration as erroneous.

实验结果

研究问题

• RQ1 预训练 LLM 是否能在不进行微调或代码生成的情况下有效验证配置？
• RQ2 使用有效配置和错误配置示例的少样本提示工程，在引导 LLM 进行配置验证方面有多有效？
• RQ3 基于 LLM 的验证器在检测特定类型错误配置（如依赖关系或版本相关问题）方面存在哪些局限性？
• RQ4 基于 LLM 的验证器在多大程度上对常用配置参数存在偏差？
• RQ5 跨多个 LLM 的输出聚合在多大程度上提高了验证的可靠性并减少了幻觉？

主要发现

• Ciri 在六个开源系统上使用五个 LLM，实现了最高 0.75 的文件级 F1 分数和最高 0.56 的参数级 F1 分数。
• 该框架表明，仅通过提示工程即可使 LLM 成为有效的配置验证器，无需微调。
• LLM 在检测依赖关系违规和版本相关错误配置方面表现不佳，表明其在理解复杂配置关系方面仍存在推理缺陷。
• 验证过程显示出对流行配置参数的偏向，可能忽略较少见但关键的错误配置。
• 聚合多个 LLM 的输出可提高可靠性，并有助于缓解幻觉和非确定性问题。
• 尽管结果令人鼓舞，基于 LLM 的验证在某些复杂错误配置模式下仍表现无效，凸显了未来研究中的开放挑战。

Figure 2 . System overview of Ciri.