[논문 리뷰] Exploring the Effectiveness of LLMs in Automated Logging Generation: An Empirical Study

Yichen Li, Yintong Huo외 6명|arXiv (Cornell University)|2023. 07. 12.

Advanced Manufacturing and Logistics Optimization인용 수 7

한 줄 요약

이 논문은 대규모 언어 모델(Large Language Models, LLMs)을 사용하여 자동 로깅 문장 생성을 위한 최초의 종합적인 실증 연구를 제시한다. 3,870개의 메서드와 6,849개의 로깅 문장을 포함하는 LogBench라는 데이터셋을 제안하고, 효과성과 일반화 능력 측면에서 여덟 가지 최신 기술의 LLMs를 평가한다. 연구 결과, 현재의 LLMs는 정확하고 맥락 인식이 가능한 로깅 문장을 생성하는 데에 부족함을 보이며, 새로운 코드에 대해 어려움을 겪고 있음을 확인했으며, 이는 모델의 능력과 일반화 능력에 대한 한계를 드러낸다.

ABSTRACT

Automated logging statement generation supports developers in documenting critical software runtime behavior. Given the great success in natural language generation and programming language comprehension, large language models (LLMs) might help developers generate logging statements, but this has not yet been investigated. To fill the gap, this paper performs the first study on exploring LLMs for logging statement generation.We first build a logging statement generation dataset, LogBench, with two parts: (1) LogBench-O: logging statements collected from GitHub repositories, and (2) LogBench-T: the transformed unseen code from LogBench-O. Then, we leverage LogBench to evaluate the effectiveness and generalization capabilities (using LogBench-T) of eleven top-performing LLMs. In addition, we examine the performance of these LLMs against classical retrieval-based and machine learning-based logging methods from the era preceding LLMs. We further evaluate LLM's logging generalization capabilities using unseen data (LogBench-T) derived from code transformation techniques. While existing LLMs deliver decent predictions on logging levels and logging variables, our study indicates that they only achieve a maximum BLEU score of 0.249, thus calling for improvements. The paper also highlights the importance of prompt constructions and external factors (e.g., programming contexts and code comments) for LLMs' logging performance. Based on these findings, we identify five implications and provide practical advice for future logging research. Our empirical analysis discloses the limitations of current logging approaches while showcasing the potential of LLM-based logging tools, and provides actionable guidance for building more practical models.

연구 동기 및 목표

• 최신 기술의 LLMs가 수준, 변수, 텍스트 등 여러 구성 요소를 포함한 완전하고 맥락에 적절한 로깅 문장을 얼마나 효과적으로 생성하는지 조사하기 위해.
• 모델 크기 및 코드로 사전 훈련된 정도와 같은 내부 LLM 특성들이 로깅 성능에 미치는 영향을 분석하기 위해.
• 코드 맥락과 주석과 같은 외부 요인이 LLM이 생성한 로깅 품질에 미치는 영향을 평가하기 위해.
• 훈련 중에 볼 수 없었던 변형된 코드를 사용하여 LLM의 일반화 능력을 평가하여 잠재적인 데이터 泄露 또는 기억 현상 여부를 탐지하기 위해.
• 통합된 메트릭, 공유된 코드 지식 통합, 최적화된 프롬프팅 전략을 통해 향후 LLM 기반 로깅 도구를 향상시키기 위한 실질적인 통찰을 제공하기 위해.

제안 방법

• 다양한 로깅 구성 요소를 포함한 3,870개의 자바 메서드와 6,849개의 수작업으로 코딩된 로깅 문장을 포함하는 새로운 벤치마크 데이터셋인 LogBench를 구축하였다.
• 60M에서 175B 파라미터에 이르는 여덟 가지 최신 기술의 LLMs를 활용하여 코드 스니펫으로부터 완전한 로깅 문장을 생성하는 능력을 평가하였다.
• 일반화 능력을 평가하기 위해, 구조적 및 구문적 변형이 가미된 훈련 중에 볼 수 없었던 코드를 포함하는 LogBench-O라는 테스트 세트를 생성하기 위한 코드 변환 파이프라인을 설계하였다.
• 자동 메트릭(BLEU, ROUGE 등)과 인간 평가를 통해 품질과 관련성 측면에서 로깅 효과성을 측정하였다.
• 모델 고유의 특성(예: 코드 사전 훈련)과 외부 맥락(예: 주변 코드, 주석)이 출력 품질에 미치는 영향을 분석하였다.
• 각 요인이 로깅 성능에 기여하는 정도를 분리하기 위해 아블레이션 스터디를 수행하였다.

실험 결과

연구 질문

• RQ1 현재의 LLMs는 수준, 변수, 텍스트 등 세 가지 구성 요소를 모두 포함한 정확하고 맥락에 적절한 로깅 문장을 얼마나 잘 생성할 수 있는가?
• RQ2 모델 크기 및 코드로의 사전 훈련과 같은 내부 LLM 특성이 로깅 효과성에 어떻게 영향을 미치는가?
• RQ3 코드 맥락과 주석과 같은 외부 요소가 LLM이 생성한 로깅 문장의 품질에 어떻게 영향을 미치는가?
• RQ4 공개된 코드 레포지터리에서 훈련한 후, LLMs는 공개된 코드 구조 외부의 코드에 대해 일반화할 수 있는가, 아니면 기억에 의존하는가?
• RQ5 실제 적용에서 LLM 기반 로깅 생성을 향상시키기 위한 주요 한계와 기회는 무엇인가?

주요 결과

• 기존의 LLMs는 강력한 자연어 생성 능력에도 불구하고 실무적 요구사항을 충족하지 못하며, 정확하지 않거나 의미적으로 부적절한 로깅을 생성하고 있다.
• 모델 크기와 코드 기반 사전 훈련은 로깅 효과성에 크게 기여하며, 코드 전용 모델이 일반 목적의 LLMs보다 성능이 뛰어나다.
• 외부 맥락, 특히 주변 코드와 주석은 생성된 로깅 문장의 관련성과 정확도를 크게 향상시킨다.
• LLMs는 변형된 코드에 대해 일반화 능력이 떨어지며, 진정한 이해보다는 훈련 데이터의 기억에 의존하는 것으로 나타나, 복잡한 구조적 변화에 취약함을 보였다.
• 보이는 코드와 보이지 않는 코드 간의 성능 격차는 데이터 泄露의 위험을 드러내며, 더 철저한 평가 프로토콜의 필요성을 시사한다.
• 본 연구는 세 가지 핵심 함의를 도출하였다: 통합된 로깅 품질 메트릭 개발, LLMs에 공유된 코드 지식 통합, 로깅 작업을 위한 효과적인 프롬프팅 전략 설계.