[논문 리뷰] Configuration Validation with Large Language Models

Xinyu Lian, Yinfang Chen외 5명|arXiv (Cornell University)|2023. 10. 15.

Topic ModelingComputer Science인용 수 3

한 줄 요약

이 논문은 GPT와 Codex와 같은 대규모 언어 모델(Large Language Models, LLMs)을 미세튜닝 없이 구성 검증에 활용하는 일반적인 프레임워크인 Ciri를 소개한다. 유효한 예시와 잘못된 구성 예시를 활용한 소수 샘플 프롬프트 엔지니어링과 함께, LLM 출력을 집계하여 환각 현상을 완화함으로써 Ciri는 여섯 개의 오픈소스 시스템에서 파일 수준 최대 0.75, 파라미터 수준 최대 0.56의 F1 스코어를 달성한다. 이는 LLM이 자동 구성 검증에 활용 가능하다는 가능성을 입증하지만, 종속성 및 버전 관련 잘못된 구성 검증에 어려움을 겪는 점을 보여준다.

ABSTRACT

Misconfigurations are major causes of software failures. Existing practices rely on developer-written rules or test cases to validate configurations, which are expensive. Machine learning (ML) for configuration validation is considered a promising direction, but has been facing challenges such as the need of large-scale field data and system-specific models. Recent advances in Large Language Models (LLMs) show promise in addressing some of the long-lasting limitations of ML-based configuration validation. We present a first analysis on the feasibility and effectiveness of using LLMs for configuration validation. We empirically evaluate LLMs as configuration validators by developing a generic LLM-based configuration validation framework, named Ciri. Ciri employs effective prompt engineering with few-shot learning based on both valid configuration and misconfiguration data. Ciri checks outputs from LLMs when producing results, addressing hallucination and nondeterminism of LLMs. We evaluate Ciri's validation effectiveness on eight popular LLMs using configuration data of ten widely deployed open-source systems. Our analysis (1) confirms the potential of using LLMs for configuration validation, (2) explores design space of LLMbased validators like Ciri, and (3) reveals open challenges such as ineffectiveness in detecting certain types of misconfigurations and biases towards popular configuration parameters.

연구 동기 및 목표

• 사전 훈련된 LLM을 미세튜닝 없이 구성 검증에 활용할 수 있는지 조사하기 위해.
• 여러 LLM을 통합하여 구성 검증을 수행하는 일반 목적의 프레임워크인 Ciri를 개발하기 위해.
• 성숙한 오픈소스 시스템에서의 실제 구성 데이터를 활용해 LLM 기반 검증의 효과성을 평가하기 위해.
• 특히 소수 샘플 학습을 통한 프롬프트 엔지니어링을 포함한 LLM 기반 검증기의 설계 공간을 이해하기 위해.
• 복잡한 잘못된 구성에 대해 LLM 기반 검증기의 한계와 편향을 특정하기 위해.

제안 방법

• Ciri는 구성 검증을 위해 여러 사전 훈련된 LLM을 통합하는 일반적인 프레임워크이다.
• 유효한 구성과 알려진 잘못된 구성 예시를 디모나션으로 사용하여 소수 샘플 프롬프트 엔지니어링을 수행한다.
• 여러 LLM의 출력을 집계하여 신뢰성 향상과 환각 및 비결정성의 영향을 줄인다.
• 검증 결과는 다수의 LLM 응답을 공감대 기반 집계 전략을 사용해 통합하여 생성된다.
• 모델의 미세튜닝이나 코드 생성을 요구하지 않으며, 오직 프롬프트 기반 추론에 의존한다.
• 실제 구성 데이터를 사용하여 여섯 개의 널리 배포된 오픈소스 시스템에서 시스템을 평가한다.

Figure 1 . Example 1 and 2 show the LLM correctly catches and reasons the misconfigurations. Example 3 and 4 show the LLM misses a misconfiguration or reports a valid configuration as erroneous.

실험 결과

연구 질문

• RQ1 사전 훈련된 LLM이 미세튜닝이나 코드 생성 없이 구성 검증에 효과적으로 기능할 수 있는가?
• RQ2 유효한 구성과 잘못된 구성 예시를 모두 포함한 소수 샘플 프롬프트 엔지니어링이 LLM의 구성 검증을 얼마나 효과적으로 이끌 수 있는가?
• RQ3 LLM 기반 검증기가 특정 유형의 잘못된 구성, 예를 들어 종속성 또는 버전 관련 문제를 탐지하는 데에 어떤 한계를 지니는가?
• RQ4 LLM 기반 검증기가 일반적으로 사용되는 구성 파라미터에 대해 어느 정도 편향을 보이는가?
• RQ5 여러 LLM의 출력을 집계함으로써 검증의 신뢰성은 얼마나 향상되고 환각 현상은 얼마나 감소하는가?

주요 결과

• Ciri는 다섯 개의 LLM을 사용하여 여섯 개의 오픈소스 시스템에서 파일 수준 최대 0.75, 파라미터 수준 최대 0.56의 F1 스코어를 달성한다.
• 이 프레임워크는 미세튜닝 없이도 프롬프트 엔지니어링만으로 LLM이 효과적인 구성 검증기로 기능할 수 있음을 입증한다.
• LLM은 종속성 위반과 버전 관련 잘못된 구성 검증에 어려움을 겪으며, 복잡한 구성 관계에 대한 추론의 격차를 보여준다.
• 검증 과정에서 인기 있는 구성 파라미터에 대한 편향이 나타나며, 이는 드물지만 중요한 잘못된 구성 검증을 놓칠 수 있음을 시사한다.
• 여러 LLM의 출력을 집계함으로써 검증의 신뢰성이 향상되고 환각 및 비결정성의 영향을 줄일 수 있다.
• 다소 유망한 결과에도 불구하고, LLM 기반 검증은 특정 복잡한 잘못된 구성 패tern에 대해 여전히 효과적이지 않으며, 향후 연구에 대한 열린 과제를 드러낸다.

Figure 2 . System overview of Ciri.