[논문 리뷰] Breaking the Silence: the Threats of Using LLMs in Software Engineering

June Sallou, Thomas Durieux외 1명|arXiv (Cornell University)|2023. 12. 13.

Software Engineering Research참고 문헌 39인용 수 5

한 줄 요약

이 논문은 LLM 기반 소프트웨어 공학 연구에서의 유효성에 치명적인 위협—특히 비공개 모델 의존성, 데이터 泄漏, 재현성 불가능성—을 규명하고, 재현성, 투명성, 엄밀함을 향상시키기 위한 실천 가능한 지침을 제안한다. Defects4J에서의 테스트 케이스 생성을 사례로 삼아, 코드 오버플레이션과 다중 소스 평가 기법이 환각 현상과 데이터 泄漏를 줄여 연구 신뢰도를 높일 수 있음을 보여준다.

ABSTRACT

Large Language Models (LLMs) have gained considerable traction within the Software Engineering (SE) community, impacting various SE tasks from code completion to test generation, from program repair to code summarization. Despite their promise, researchers must still be careful as numerous intricate factors can influence the outcomes of experiments involving LLMs. This paper initiates an open discussion on potential threats to the validity of LLM-based research including issues such as closed-source models, possible data leakage between LLM training data and research evaluation, and the reproducibility of LLM-based findings. In response, this paper proposes a set of guidelines tailored for SE researchers and Language Model (LM) providers to mitigate these concerns. The implications of the guidelines are illustrated using existing good practices followed by LLM providers and a practical example for SE researchers in the context of test case generation.

연구 동기 및 목표

• LLM 기반 소프트웨어 공학 연구에서의 핵심 유효성 위협—데이터 泄漏, 비공개 모델의 예측 불가능성, 재현성 불가능성—에 대한 인식을 제고한다.
• 특히 Defects4J와 같이 널리 사용되는 벤치마크에서 평가 데이터셋과 모델 학습 데이터 간의 겹침으로 인해 LLM이 사전 지식을 보유할 위험을 다룬다.
• 실천 가능하고 행동 가능한 지침을 제안하여 소프트웨어 공학 연구자와 모델 제공자들이 신뢰할 수 있고 투명한 LLM 평가를 보장할 수 있도록 방법론적 엄밀함을 증진한다.
• 코드 오버플레이션과 다중 소스 데이터 수집과 같은 방법론적 선택이 환각 현상을 줄이고 결과 유효성 향상에 어떤 영향을 미치는지 보여준다.
• 장기적인 재현성과 LLM 기반 소프트웨어 공학 기여에 대한 신뢰를 확보하기 위해 공동체 차원의 표준 평가 관행 도입을 촉구한다.

제안 방법

• 비공개 모델 의존성, 학습/검증/테스트 세트 간의 데이터 泄漏, 모델 진화로 인한 재현성 상실이라는 세 가지 핵심 위협을 대상으로 지침 프레임워크를 제안한다.
• LLM 학습 데이터와 평가 프로젝트 간 암묵적 데이터 泄漏를 차단하기 위해 코드 오버플레이션(예: 메서드 및 변수 이름 변경)을 권고한다.
• 단일 응답에 의존하는 것의 위험을 줄이기 위해 다수의 독립적 프롬프트 또는 쿼리를 사용할 것을 주장한다.
• 모델 유형 간 결과를 검증하기 위해 오픈소스 및 비공개 모델을 모두 활용한 비교 평가를 장려한다.
• 평가 간 일관성을 확보하기 위해 ONNX 같은 프레임워크를 활용할 것을 권고한다.
• LLM 학습 데이터와 평가 세트 간 잠재적 데이터 泄漏를 식별하기 위해 코드 클론 검출 및 종속성 분석을 활용한다.

실험 결과

연구 질문

• RQ1 비공개 LLM이 제어되지 않은 모델 업데이트 및 버전 관리로 인해 성능 저하 또는 일관성 부족을 보이는 정도는 어느 정도인가?
• RQ2 LLM 학습 데이터와 Defects4J와 같은 평가 벤치마크 간의 명시적 또는 암묵적 데이터 泄漏가 보고된 결과의 유효성에 어떤 영향을 미치는가?
• RQ3 코드 오버플레이션 기법이 LLM 환각 현상을 효과적으로 줄이고 소프트웨어 공학 작업에서의 테스트 케이스 생성 신뢰도를 향상시킬 수 있는가?
• RQ4 GitHub 또는 SourceForge와 같은 다양한 데이터 소스가 LLM 기반 소프트웨어 공학 평가의 편향을 줄이고 일반화 능력을 향상시키는 데 어떤 역할을 하는가?
• RQ5 모델 출력이 비스튜디오틱이고 모델 버전이 시간이 지남에 따라 변화함에 따라 연구자들은 어떻게 LLM 기반 결과의 재현성을 확보할 수 있는가?

주요 결과

• ChatGPT 3.5는 Math-5의 오버플레이션된 버전을 프롬프트로 제공받았을 때 명백한 환각 현상(예: 존재하지 않는 메서드 호출)을 보이며 컴iles되지 않는 테스트 케이스를 생성하여 신뢰도가 크게 떨어지는 것으로 나타났다.
• Chart-11의 경우 오버플레이션은 브랜치 커버리지에 미미한 영향을 미쳤다(p-value = 0.79), 그러나 약간의 부정적 효과 크기(A12 = 0.63)가 관찰되어 오버플레이션된 코드에서 약간의 성능 저하가 있음을 시사한다.
• LLM은 GitHub보다 SourceForge의 프로젝트에서 유의미하게 열악한 성능을 보였으며, 인기 있는 레포지터리를 벤치마크로 사용할 경우 데이터 泄漏 위험이 있다는 점을 입증한다.
• 코드 클론 검출 결과, 생성된 테스트 케이스가 공개 레포지터리의 기존 코드와 유사한 경향이 있어 학습 데이터에서 유래한 잠재적 데이터 泄漏가 있음을 시사한다.
• 평가 세트 간 외부 종속성 분석 결과, 학습, 검증, 테스트 프로젝트 간 유사한 API 사용 및 종속성이 공통으로 존재하여 데이터 泄漏 위험이 증가함을 확인했다.
• Llama2 및 Falcon 180B와 같은 오픈소스 모델을 활용한 비교 평가 결과, 다양한 모델 간 결과의 차이가 뚜렷하게 나타났으며, 이는 다중 모델 검증을 통해 결과의 견고성을 확보할 필요성이 있음을 강조한다.