[논문 리뷰] Code Less, Align More: Efficient LLM Fine-tuning for Code Generation with Data Pruning

Yun-Da Tsai, Mingjie Liu외 1명|arXiv (Cornell University)|2024. 07. 06.

Mathematics, Computing, and Information Processing인용 수 4

한 줄 요약

이 논문은 복수의 메트릭을 사용하여 대표 샘플을 선택하는 클러스터링을 통한 합성 코드 지시-코드 쌍의 군집화를 통해 코드 특화 LLM의 효율적인 피팅을 위한 데이터 프루닝 프레임워크를 제안한다. 실험 결과, 원본 데이터의 10%만으로도 HumanEval 성능의 96.1%를 유지하고 MBPP 정확도를 최대 3.5% 향상시켜 성능 손실 없이도 상당한 효율성 향상을 입증한다.

ABSTRACT

Recent work targeting large language models (LLMs) for code generation demonstrated that increasing the amount of training data through synthetic code generation often leads to exceptional performance. In this paper we explore data pruning methods aimed at enhancing the efficiency of model training specifically for code LLMs. We present techniques that integrate various clustering and pruning metrics to selectively reduce training data without compromising the accuracy and functionality of the generated code. We observe significant redundancies in synthetic training data generation, where our experiments demonstrate that benchmark performance can be largely preserved by training on only 10% of the data. Moreover, we observe consistent improvements in benchmark results through moderate pruning of the training data. Our experiments show that these pruning strategies not only reduce the computational resources needed but also enhance the overall quality code generation.

연구 동기 및 목표

• 코드 LLM의 피팅에 사용되는 대규모 합성 코드 데이터셋에서 발생하는 높은 계산 비용과 중복 문제를 해결하기 위해.
• 코드 생성 작업에 특화된 확장성 있고 효율적인 데이터 프루닝 전략을 개발하기 위해.
• 클러스터링과 프루닝을 통해 학습 데이터를 줄여도 모델 성능을 유지하거나 향상시킬 수 있는지 조사하기 위해.
• 다양한 클러스터링 알고리즘과 프루닝 메트릭이 최종 코드 생성 벤치마크에 미치는 영향을 평가하기 위해.
• 코드 LLM의 전체 데이터 피팅에 대한 실용적이고 자원 소모가 적은 대안을 제공하기 위해.

제안 방법

• KMeans와 HDBSCAN을 사용하여 지시어와 코드 솔루션 임베딩을 기반으로 데이터 샘플을 클러스터링하기 위해.
• PCA를 통해 차원 감소를 적용하여 임베딩 차원을 1536에서 10으로 감소시켜 클러스터링 속도를 약 12배 향상시키기 위해.
• 다양성 및 불확실성 점수를 포함한 복수의 프루닝 메트릭을 사용하여 각 클러스터에서 대표 샘플을 선별하기 위해.
• 클러스터링의 표현력과 선택 품질을 향상시키기 위해 지시어와 코드 임베딩을 결합하여 입력으로 사용하기 위해.
• 하이브리드 접근 방식: 먼저 클러스터링을 수행한 후 메트릭 점수 기반으로 프루닝을 수행하여 다양성과 정보성 확보하기 위해.
• 프루닝된 데이터셋으로 피팅한 후 표준 벤치마크(HumanEval 및 MBPP)에서 성능 평가하기 위해.

실험 결과

연구 질문

• RQ1 클러스터링과 프루닝을 통한 상당한 데이터 감소가 피팅된 LLM에서 코드 생성 성능을 유지하거나 향상시킬 수 있는가?
• RQ2 클러스터링 알고리즘의 선택(KMeans 대비 HDBSCAN 등)이 데이터 프루닝의 효과성에 어떤 영향을 미치는가?
• RQ3 합성 코드 데이터셋을 프루닝할 때 데이터 크기와 모델 성능 사이의 최적의 균형은 무엇인가?
• RQ4 지시어와 코드 임베딩을 모두 사용하면 개별적으로 사용하는 것보다 더 나은 클러스터링 및 프루닝 결과를 얻을 수 있는가?
• RQ5 차원 감소(예: PCA)가 프루닝 파이프라인의 효율성과 성능에 어떤 영향을 미치는가?

주요 결과

• 원본 합성 데이터셋의 10%만으로도 HumanEval pass@1 점수의 96.1%와 MBPP pass@1 점수의 98.5%를 유지하여 전체 데이터 피팅과 비교할 때 성능 손실가 없음.
• 중간 정도의 프루닝은 일관된 성능 향상을 이끌어내며, 전체 데이터 피팅 대비 HumanEval에서 최대 2.7%p 향상, MBPP에서 최대 3.5%p 향상됨.
• 클러스터링 알고리즘이 프루닝 메트릭보다 더 중요하며, PCA를 적용한 KMeans가 속도와 성능 사이의 최적의 균형을 달성함.
• 지시어와 코드 임베딩을 모두 사용한 클러스터링은 개별적으로 사용하는 것보다 略적으로 더 좋은 결과를 도출하여 다중 모odal 표현의 중요성을 시사함.
• PCA 적용으로 임베딩 차원을 1536에서 10으로 감소시켜 클러스터링 실행 시간을 1307초에서 183초로 단축했으며, 성능 저하도 미미함(≤0.6% MBPP, ≤4.3% HumanEval).
• HDBSCAN 클러스터링은 4시간 이내에 완료되지 않아 최종 평가에서 제외되었으며, 이는 파이프라인에서 계산 효율성의 중요성을 강조함.