[논문 리뷰] Mining Fix Patterns for FindBugs Violations

Kui Liu, Dongsun Kim외 3명|arXiv (Cornell University)|2017. 12. 08.

Software Engineering Research참고 문헌 71인용 수 5

한 줄 요약

이 논문은 오픈소스 자바 프로젝트의 실제 코드 변경 사항에서 반복적으로 발생하는 진짜 양성 FindBugs 위반 사항을 식별하기 위해 비지도 학습 방식을 제안한다. 컨volutional 신경망(CNN)을 활용한 특징 학습과 X-means 클러스터링을 통한 패턴 군집화를 조합함으로써, 116개의 미리보기 위반 사항 중 69개에 대해 개발자가 수락한 수정을 생성하였으며, Defects4J의 실제 버그에 대해서도 높은 일반화 능력을 보였다.

ABSTRACT

In this paper, we first collect and track a large number of fixed and unfixed violations across revisions of software. The empirical analyses reveal that there are discrepancies in the distributions of violations that are detected and those that are fixed, in terms of occurrences, spread and categories, which can provide insights into prioritizing violations. To automatically identify patterns in violations and their fixes, we propose an approach that utilizes convolutional neural networks to learn features and clustering to regroup similar instances. We then evaluate the usefulness of the identified fix patterns by applying them to unfixed violations. The results show that developers will accept and merge a majority (69/116) of fixes generated from the inferred fix patterns. It is also noteworthy that the yielded patterns are applicable to four real bugs in the Defects4J major benchmark for software testing and automated repair.

연구 동기 및 목표

• 실제 오픈소스 프로젝트에서 FindBugs 위반 사항의 재현성과 수정 패턴을 조사하기 위해.
• 개발자가 실제로 수정한 위반 사항을 식별하여 이들이 진짜 양성일 가능성이 높다는 것을 확인하기 위해.
• 개발자 검증을 거친 변경 사항으로부터 공통된 코드 및 수정 패턴을 추출하고 일반화하여 향후 수정을 안내하기 위해.
• 발굴된 수정 패턴이 이전에 수정되지 않은 위반 사항에 효과적으로 적용될 수 있는지 평가하기 위해.
• 높은 영향력을 가진 위반 사항을 우선순위로 지정하고 자동 수정 제안 기능을 제공함으로써 정적 분석 도구의 유용성을 향상시키기 위해.

제안 방법

• 730개의 오픈소스 자바 프로젝트를 수집하고 추적하여 여러 개정 버전 동안 위반 사항과 관련된 수정 변경 사항을 추출하기 위해.
• 위반 사항과 그에 해당하는 수정 사례를 나타내는 코드 스니펫으로부터 의미적이고 구조적인 특징을 학습하기 위해 컨volutional 신경망(CNN)을 사용하기 위해.
• 학습된 특징을 바탕으로 유사한 위반 사항과 수정 사례를 서로 다른 수정 패턴으로 군집화하기 위해 X-means 클러스터링을 적용하기 위해.
• 가장 유사한 발굴된 수정 패턴에 매핑하여 수정되지 않은 위반 사항에 대해 후보 수정 사항을 생성하기 위해.
• 개발자 수락도와 Defects4J 기준에서의 벤치마크 검증을 통해 수정 품질을 평가하기 위해.
• 라벨이 붙은 수리 데이터에 의존하지 않도록 비지도 학습을 활용하여 실제 코드 변경 사항에서 스케일이 큰 패턴 탐색이 가능하도록 하기 위해.

실험 결과

연구 질문

• RQ1 정적 분석 위반 사항이 소프트웨어 프로젝트의 여러 개정 버전에 걸쳐 얼마나 자주 재현되는가? 그리고 수정된 위반 사항과 수정되지 않은 위반 사항은 분포에서 어떻게 다를까?
• RQ2 개발자가 가장 자주 수정하는 위반 유형은 무엇이며, 이러한 수정의 특징은 무엇인가?
• RQ3 실제로 해결된 위반 사항에서 반복적으로 나타나는 코드와 수정 패턴은 무엇인가?
• RQ4 발굴된 수정 패턴이 이전에 수정되지 않은 위반 사항에 대해 수락 가능하고 재사용 가능한 수정을 얼마나 효과적으로 생성하는가?
• RQ5 식별된 수정 패턴은 실제로 Defects4J와 같은 기존 벤치마크에서의 실제 버그에 일반화되고 적용될 수 있는가?

주요 결과

• 이전에 수정되지 않은 위반 사항 116개에 대해 생성된 수정 사항 중 69개가 오픈소스 프로젝트의 풀 리퀘스트에서 수락되고 통합되어 실용적 유용성이 높음을 시사한다.
• 발굴된 수정 패턴은 Defects4J 벤치마크에서 네 개의 실제 버그를 성공적으로 해결하여 훈련 프로젝트 외부로의 일반화 능력을 입증했다.
• 수정된 위반 사항은 카테고리 간에 균일하게 분포하지 않으며, 특정 유형(예: BC_EQUALS_METHOD_SHOULD_WORK_FOR_ALL_OBJECTS)이 더 자주 재현되고 일관된 수정 패턴을 따르는 경향이 있다.
• 빈도, 카테고리 분포, 코드 구조 측면에서 수정된 위반 사항의 분포는 전체 검출된 위반 사항과 상당히 다름을 보이며, 재현 빈도를 기반으로 우선순위를 정하면 도구의 사용성 향상에 기여할 수 있음을 시사한다.
• CNN 기반 특징 학습과 X-means 클러스터링의 조합은 코드 변경 사항 내 의미 있는 패턴을 효과적으로 포착하여 정확한 수정 제안이 가능하게 했다.
• 일부 공통적인 위반 사항은 후속 프로젝트 버전에서 사라지기도 하며, 이는 위반 사항의 재현 빈도가 시간에 따라 변동되고 맥락에 따라 달라질 수 있음을 시사한다.