[논문 리뷰] Towards an automated approach for bug fix pattern detection

Fernanda Madeiral, Thomas Durieux외 2명|arXiv (Cornell University)|2018. 07. 30.

Software Testing and Debugging Techniques참고 문헌 7인용 수 15

한 줄 요약

이 논문은 GumTree와 Spoon을 사용하여 추상 구문 트리(abstract syntax tree, AST)의 차이를 분석함으로써 자바 버그 수정에서 수리 패턴을 자동으로 탐지하는 도구 PPD를 제안한다. Defects4J에서 평가한 결과, PPD는 정밀도 91%와 재현율 92%를 기록하여 수작업 분석 수준의 뛰어난 성능을 보이며, 프로그램 수리 연구를 위한 버그 데이터셋의 스케일러블 특성 분석을 가능하게 한다.

ABSTRACT

The characterization of bug datasets is essential to support the evaluation of automatic program repair tools. In a previous work, we manually studied almost 400 human-written patches (bug fixes) from the Defects4J dataset and annotated them with properties, such as repair patterns. However, manually finding these patterns in different datasets is tedious and time-consuming. To address this activity, we designed and implemented PPD, a detector of repair patterns in patches, which performs source code change analysis at abstract-syntax tree level. In this paper, we report on PPD and its evaluation on Defects4J, where we compare the results from the automated detection with the results from the previous manual analysis. We found that PPD has overall precision of 91% and overall recall of 92%, and we conclude that PPD has the potential to detect as many repair patterns as human manual analysis.

연구 동기 및 목표

• 소프트웨어 버그 수정에서 수리 패턴을 자동으로 탐지하여 수작업 분석에 소요되는 시간을 줄이는 것.
• 수리 패턴 속성 기반으로 버그를 선택할 수 있도록 해, 자동 프로그램 수리 도구의 평가를 더욱 견고하게 지원하는 것.
• 다양한 데이터셋 간의 수리 결과와 버그 특성 간의 상관관계 분석을 촉진하는 것.
• 각각의 버그 데이터셋 간의 구조적 구성과 잠재적 편향을 드러내어 비교 분석을 가능하게 하는 것.
• 재현 가능하고 스케일러블한 패치 분석을 지원하는 공개 도구를 제공하는 것.

제안 방법

• PPD는 미세한 소스 코드 차이 분석을 위한 GumTree 알고리즘을 사용하여 버그가 발생한 코드와 수정된 코드의 AST 수준 에디트 스크립트를 추출한다.
• Spoon, 자바 소스 코드 분석 라이브러리를 사용하여 AST의 차이를 분석함으로써 노드 수준의 구조적 변경을 탐지한다.
• 일곱 가지 범주(예: 단일 라인, null 체크 누락, 조건부 블록 추가 등)로 분류된 25개의 사전 정의된 수리 패턴에 대한 탐지 논리를 도입한다.
• 삽입, 삭제, 이동 등의 코드 요소에 대한 문법적 및 구조적 특징을 기반으로 패턴 탐지를 수행한다.
• 각 패턴의 인스턴스를 AST 차이에서 식별하기 위해 규칙 기반 매칭 전략을 사용한다.
• 평가 과정은 PPD의 출력 결과를 Defects4J의 수작업으로 주석 처리된 400개 패치 데이터셋과 비교함으로써 수행된다.

실험 결과

연구 질문

• RQ1 자동화된 도구가 수작업 분석 수준의 정밀도와 재현율을 갖추고 버그 수정에서 수리 패턴을 탐지할 수 있는가?
• RQ2 PPD의 성능은 Defects4J 데이터셋 내 다양한 수리 패턴 그룹 간에 어떻게 달라지나?
• RQ3 자동 탐지 기술이 대규모 버그 데이터셋의 특성 분석에 소요되는 노력을 얼마나 줄일 수 있는가?
• RQ4 자동 수리 패턴 탐지의 주요 오류 원인은 무엇이며, 인간의 실수와 비교해보면 어떠한가?
• RQ5 PPD는 기존 데이터셋에서 이전에 발견되지 않은 수리 패턴 인스턴스를 식별하는 데 사용될 수 있는가?

주요 결과

• PPD는 Defects4J 데이터셋에서 수리 패턴을 탐지할 때 총 정밀도 91%와 총 재현율 92%를 달성했다.
• PPD는 이전 수작업 분석에서 발견되지 않은 90개의 새로운 수리 패턴 인스턴스를 탐지했다.
• 인간 분석가가 총 24개의 오류를 범한 데 비해 PPD는 73개의 오류를 범했지만, 독립적인 패턴 인스턴스를 놓친 수는 인간 분석가보다 더 많았다(65 vs. 90).
• 특히 null 체크 누락과 같은 일부 패턴에 대해서는 PPD가 재현율 측면에서 인간 탐지보다 뛰어난 성능을 보였다.
• 이전 태그로 정의된 아홉 가지 수리 패턴 그룹을 모두 성공적으로 식별하여 광범위한 커버리지가 있음을 입증했다.
• PPD의 성능은 복잡한 변경 사항(예: 코드 재정렬 또는 중첩 수정)에서 GumTree의 정확도가 떨어지는 AST 매핑으로 인해 영향을 받았다.