[논문 리뷰] The Devil is in the Tails: How Long-Tailed Code Distributions Impact Large Language Models

Xin Zhou, Kisub Kim외 4명|arXiv (Cornell University)|2023. 09. 07.

Software Engineering ResearchComputer Science인용 수 3

한 줄 요약

이 논문은 소프트웨어 공학(SE) 데이터셋에서의 장꼬리 분포가 코드용 LLM의 성능을 특히 희귀(꼬리) 레이블에서 크게 떨어뜨린다는 점을 조사한다. 세 가지 SE 작업 전반에서 LLM의 꼬리 레이블 성능은 머리 레이블 대비 30.0%에서 254.0%까지 떨어지며, 이러한 불균형을 해결하기 위해 맞춤형 데이터 및 모델 전략이 필요함을 시사한다.

ABSTRACT

Learning-based techniques, especially advanced Large Language Models (LLMs) for code, have gained considerable popularity in various software engineering (SE) tasks. However, most existing works focus on designing better learning-based models and pay less attention to the properties of datasets. Learning-based models, including popular LLMs for code, heavily rely on data, and the data's properties (e.g., data distribution) could significantly affect their behavior. We conducted an exploratory study on the distribution of SE data and found that such data usually follows a skewed distribution (i.e., long-tailed distribution) where a small number of classes have an extensive collection of samples, while a large number of classes have very few samples. We investigate three distinct SE tasks and analyze the impacts of long-tailed distribution on the performance of LLMs for code. Our experimental results reveal that the long-tailed distribution has a substantial impact on the effectiveness of LLMs for code. Specifically, LLMs for code perform between 30.0\% and 254.0\% worse on data samples associated with infrequent labels compared to data samples of frequent labels. Our study provides a better understanding of the effects of long-tailed distributions on popular LLMs for code and insights for the future development of SE automation.

연구 동기 및 목표

• 소프트웨어 공학 데이터셋에서 장꼬리 분포의 보편성과 영향을 조사하고, 특히 코드 관련 작업을 위한 레이블 데이터에서의 영향을 분석한다.
• 이러한 편향된 데이터 분포가 최신 코드용 LLM의 성능, 특히 희귀(꼬리) 레이블에서의 성능에 미치는 영향을 검토한다.
• 컴퓨터 비전 분야에서 기존에 사용되는 장꼬리 완화 기법이 SE 환경에서 효과적으로 적용되는지 평가한다.
• 희귀 클래스에서의 모델 약점을 가리지 않도록 머리 레이블과 꼬리 레이블 성능을 별도로 보고할 것을 촉구한다.
• 향후 연구를 위해 레이블 간 관계 인식 기법과 데이터 증강 기법을 활용해 SE 데이터셋에서 희귀 레이블 학습을 향상시키는 데 초점을 맞춘다.

제안 방법

• API 시퀀스 추천, 코드 수정 추천, 취약성 유형 예측 등 세 가지 서로 다른 SE 데이터셋을 수집하고 분석하였으며, 모두 장꼬리 레이블 분포를 보였다.
• 레이블을 '머리'(데이터 샘플의 상위 50%)와 '꼬리'(하위 50%)로 분류하여 레이블 빈도에 따른 성능 차이를 고립시켰다.
• 다양한 LLM(예: CodeBERT, CodeT5)과 전통적 기계학습 모델(예: 로지스틱 회귀, SVM)을 머리 및 꼬리 서브셋에서 평가하여 성능 격차를 측정하였다.
• 컴퓨터 비전 기반 장꼬리 완화 기법(예: 클래스 재균형, 포칼 손실)을 SE 데이터셋에 적용하여 이식 가능성 여부를 테스트하였다.
• 성능 평가의 일관성과 편향 감소를 위해 데이터를 10개의 군집으로 계층적 분할하였다.
• 재현 가능성을 보장하고 향후 연구 확장 가능성을 위해 공개된 복제 패키지를 배포하였다.

실험 결과

연구 질문

• RQ1 SE 데이터셋에서의 장꼬리 레이블 분포가 코드용 LLM의 성능에 어느 정도 영향을 미치는가?
• RQ2 다양한 SE 작업에서 LLM의 머리 레이블과 꼬리 레이블 성능은 어떻게 다른가?
• RQ3 컴퓨터 비전 분야에서 기존에 사용되는 장꼬리 완화 기법이 SE 데이터셋에서 꼬리 레이블 성능 향상에 효과적으로 작용하는가?
• RQ4 SE 데이터셋에 장꼬리 분포가 존재할 경우 평균 정확도만 보고하는 것이 어떤 영향을 미치는가?
• RQ5 레이블 간 관계와 데이터 증강을 어떻게 활용하여 희귀 코드 관련 레이블 학습을 향상시킬 수 있는가?

주요 결과

• 평가한 세 가지 SE 작업 전반에서 코드용 LLM은 꼬리 레이블에서 머리 레이블 대비 30.0%에서 254.0%까지 성능이 떨어졌다.
• 취약성 유형 예측 작업에서 TreeVul은 빈도가 높은 머리 레이블(CWE-79)에 대해 88.5%의 정확도를 기록했지만, 희귀 꼬리 레이블(CWE-863)에 대해서는 단지 11.1%의 정확도를 기록했다. 전체 평균 정확도는 73.1%였다.
• 로지스틱 회귀 및 SVM과 같은 전통적 기계학습 모델 역시 뚜렷한 성능 격차를 보였으며, 꼬리 레이블 정확도가 머리 레이블 정확도 대비 최대 20个百分点 감소했다.
• 기존 컴퓨터 비전 기반 장꼬리 완화 기법은 SE 데이터셋에서 꼬리 레이블 성능 향상에 효과적이지 않았다. 이는 의미적 레이블 관계를 고려하지 못했기 때문일 것이다.
• 연구는 평균 정확도만 보고할 경우 꼬리 레이블에서의 심각한 성능 저하가 가려질 수 있음을 확인하였으며, 커뮤니티가 머리 및 꼬리 레이블 성능을 별도로 보고할 것을 촉구한다.
• 결과는 향후 해결책이 레이블 간 관계를 고려하고, 생성형 AI 등을 통한 데이터 생성(예: 생성 기반 데이터 증강)을 탐색하여 SE 데이터셋에서의 꼬리 클래스 학습을 향상시켜야 한다는 것을 시사한다.