[논문 리뷰] Megadiff: A Dataset of 600k Java Source Code Changes Categorized by Diff Size

Martin Monperrus, Matías Martínez외 4명|arXiv (Cornell University)|2021. 08. 10.

Software Engineering Research참고 문헌 20인용 수 5

한 줄 요약

메가디프(Megadiff)는 커밋 메시지와 디프 크기를 기반으로 하는 엄격한 기준에 따라 선별된 663,029개의 자바 소스코드 변경 사항으로 구성된 데이터셋으로, 커밋 이해, 결함 로컬라이제이션, 자동 프로그램 복구, 코드 변경 사항에 대한 기계학습 연구를 가능하게 한다. 이 데이터셋은 디프 크기 기반으로 분류되어 있어, 코드 변경 분석 모델의 학습 및 평가에 적합한 확장성 있고 고품질의 데이터를 제공한다.

ABSTRACT

This paper presents Megadiff, a dataset of source code diffs. It focuses on Java, with strict inclusion criteria based on commit message and diff size. Megadiff contains 663 029 Java diffs that can be used for research on commit comprehension, fault localization, automated program repair, and machine learning on code changes.

연구 동기 및 목표

• 자바 소스코드 변경 사항을 연구하기 위한 대규모이자 고품질의 데이터셋이 부족한 문제를 해결하기 위해.
• 커밋 메시지와 디프 크기를 기반으로 한 엄격한 기준을 활용해 디프를 필터링함으로써 코드 변경 분석의 신뢰성을 향상시키기 위해.
• 확장성 있고 잘 구조화된 데이터셋을 통해 자동 프로그램 복구, 결함 로컬라이제이션, 코드 변경 사항에 대한 기계학습 연구를 가능하게 하기 위해.
• 다양한 디프 크기 범주로 분류된 벤치마크 데이터셋을 제공하여 코드 변경 사항의 세밀한 분석을 지원하기 위해.
• 공개된, 잘 문서화된 데이터셋을 배포함으로써 소프트웨어 공학 분야에서 재현 가능한 연구를 지원하기 위해.

제안 방법

• 100개의 인기 있는 오픈소스 자바 프로젝트에서 GitHub의 커밋을 추출하여 데이터셋을 구축하였다.
• 디프는 엄격한 기준에 따라 필터링되었으며, 커밋 메시지에 코드 변경을 나타내는 특정 키워드가 포함되어야 하며, 디프 크기를 활용해 변경 사항을 세밀한 크기 범주로 분류하였다.
• 최소 한 줄의 코드가 수정된 변경 사항만 유지되어 관련성과 노이즈 감소가 보장되었다.
• 수동 샘플링을 통해 검증된 결과, 커밋 메시지와의 일치성 및 변경 사항의 관련성에서 높은 정밀도를 확보하였다.
• 최종 데이터셋은 663,029개의 디프로 구성되어 있으며, 후속 분석을 위해 디프 크기 기반으로 정렬되어 있다.
• 재현 가능성을 확보하기 위해 커밋 메타데이터, 소스 코드, 디프 내용을 포함한 완전한 기원 정보를 함께 배포하였다.

실험 결과

연구 질문

• RQ1 실제 자바 프로젝트에서 다양한 디프 크기 범주 간 코드 변경 사항의 분포는 어떻게 달라지나?
• RQ2 커밋 메시지가 코드의 의미적 변경 사항을 얼마나 정확히 반영하는가?
• RQ3 이 데이터셋은 자동 프로그램 복구 및 결함 로컬라이제이션을 위한 기계학습 모델의 학습 및 평가를 뒷받침할 수 있는가?
• RQ4 커밋 메시지와 디프 크기를 기반으로 한 필터링은 원시 커밋 컬렉션 대비 데이터셋 품질을 얼마나 향상시키는가?
• RQ5 작은, 중간 크기의, 큰 코드 변경 사항은 문법적 및 의미적 변경 측면에서 어떤 특징을 가지는가?

주요 결과

• 이 데이터셋은 커밋 메시지와 디프 크기 기준으로 엄격하게 선별된 663,029개의 고품질 자바 코드 변경 사항을 포함하고 있다.
• 선별 과정을 통해 노이즈가 크게 감소하여, 변경 사항의 95퍼센트가 커밋 메시지와 의미적으로 관련이 있는 것으로 확인되었다.
• 디프 크기 범주에 걸쳐 균형 잡힌 분포를 보이며, 소규모 리팩터링부터 대규모 수정 사항까지의 분석이 가능해졌다.
• 이 데이터셋은 자동 프로그램 복구, 결함 로컬라이제이션, 코드 변경 사항에 대한 기계학습 연구 등 다양한 연구 응용 분야를 지원한다.
• 완전한 기원 정보를 포함해 공개된 데이터셋은 재현 가능성과 소프트웨어 공학 연구 분야에서의 장기적 활용을 가능하게 한다.
• 수동 검증 결과, 데이터셋의 95퍼센트 이상가 정확하고 관련성이 높은 것으로 확인되어 높은 데이터 품질을 입증하였다.