[논문 리뷰] Revisiting ssFix for Better Program Repair

Xin Qi, Steven P. Reiss|arXiv (Cornell University)|2019. 03. 11.

Software Testing and Debugging Techniques참고 문헌 51인용 수 4

한 줄 요약

이 논문은 코드 검색 및 재사용 전략을 개선하여 ssFix를 향상시킨 sharpFix를 제안한다. sharpFix는 Defects4J에서 36개의 버그를 수정하며, Bugs.jar-ELIXIR에서 ssFix와 네 가지 다른 APR 기법보다 뛰어난 성능을 보이며, 더 나은 코드 검색과 변환 기법을 통해 수리 효과성을 크게 향상시킨다.

ABSTRACT

A branch of automated program repair (APR) techniques look at finding and reusing existing code for bug repair. ssFix is one of such techniques that is syntactic search-based: it searches a code database for code fragments that are syntactically similar to the bug context and reuses such retrieved code fragments to produce patches. Using such a syntactic approach, ssFix is relatively lightweight and was shown to outperform many other APR techniques. In this paper, to investigate the true effectiveness of ssFix, we conducted multiple experiments to validate ssFix's built-upon assumption (i.e., to see whether it is often possible to reuse existing code for bug repair) and evaluate its code search and code reuse approaches. Our results show that while the basic idea of ssFix, i.e., reusing existing code for bug repair, is promising, the approaches ssFix uses are not the best and can be significantly improved. We proposed a new repair technique sharpFix which follows ssFix's basic idea but differs in the code search and reuse approaches used. We evaluated sharpFix and ssFix on two bug datasets: Defects4J and Bugs.jar-ELIXIR. The results confirm that sharpFix is an improvement over ssFix. For the Defects4J dataset, sharpFix successfully repaired a total of 36 bugs and outperformed many existing repair techniques in repairing more bugs. For the Bugs.jar-ELIXIR dataset, we compared sharpFix, ssFix, and four other APR techniques, and found that sharpFix has the best repair performance. In essence, the paper shows how effective a syntactic search-based approach can be and what techniques should be used for such an approach.

연구 동기 및 목표

• ssFix의 기본 가정을 평가한다: 버그 수리를 위한 수정 요소(정확한 코드 조각)가 기존 코드에 자주 존재한다.
• ssFix가 기존 코드 조각을 수리 패치 생성에 효과적으로 검색하고 재사용하는지 평가한다.
• ssFix의 코드 검색 및 재사용 메커니즘이 최적의 수리 성능을 저해하는 한계를 규명한다.
• 개선된 검색 및 재사용 전략을 활용해 ssFix의 접근 방식을 향상시킨 새로운 수리 기법 sharpFix를 설계하고 평가한다.
• 정밀한 검색 및 변환 기법과 결합된 문법적 검색 기반 수리가 매우 효과적일 수 있음을 보여준다.

제안 방법

• 수리의 核심 아이디어인 기존 코드 조각 재사용을 유지하면서, ssFix의 개선된 변종인 sharpFix를 제안한다.
• 지역 프로그램 코드와 외부 코드 저장소에 대해 각각 다른 코드 검색 전략을 구현하여 검색 정확도를 향상시킨다.
• 세 단계로 구성된 패치 생성 파이프라인(코드 번역, 컴포onent 매칭(의미적 정렬), 코드 수정)을 구현하며, 각 단계를 정밀도 향상시키기 위해 개선한다.
• 버그 컨텍스트와 유사한 코드 조각을 식별하기 위해 문법적 유사도 측정 방법을 적용하며, 구조적 및 어휘적 특징에 중점을 둔다.
• 패치 합성 과정에서 검색된 코드 조각을 결함이 있는 컨텍스트와 더 잘 정렬하기 위해 개선된 매칭 히우리스틱을 도입한다.
• 패치의 정확성을 보장하기 위해 보수적인 수동 검증 절차를 적용하며, 의미를 유지하는 변환만 수락한다.

실험 결과

연구 질문

• RQ1 수리에 사용할 수 있는 코드 조각(즉, 수정 요소)이 지역 또는 외부 코드 저장소에 얼마나 자주 존재하는가?
• RQ2 ssFix는 기존 코드 조각을 얼마나 효과적으로 검색하고 재사용하여 정확한 패치를 생성할 수 있는가?
• RQ3 ssFix의 코드 검색 및 재사용 메커니즘에서 수리 효과성을 떨어뜨리는 주요 한계는 무엇인가?
• RQ4 코드 검색 및 재사용에 대한 정교한 접근 방식이 ssFix에 비해 수리 성능을 크게 향상시킬 수 있는가?
• RQ5 제안된 sharpFix 기법은 실제 세계의 버그 데이터셋에서 다른 최첨단 APR 기법과 비교해 어떻게 성과를 내는가?

주요 결과

• 수리에 필요한 수정 요소가 기존 코드에 존재한다는 가정은 타당하다—수리에 필요한 코드 조각은 지역 및 외부 코드 모두에 자주 존재한다.
• ssFix의 코드 검색 및 재사용 메커니즘은 최적화되지 않아, 수정 요소가 존재하는 상황에서도 수리 기회를 놓치는 결과를 낳는다.
• sharpFix는 Defects4J 데이터셋에서 36개의 버그를 성공적으로 수정하였으며, ssFix보다 14개 더 많은 수리 성과를 기록했고, 네 가지 다른 APR 기법을 뛰어넘었다.
• Bugs.jar-ELIXIR 데이터셋에서 sharpFix는 ssFix와 ELIXIR를 포함한 모든 평가 기법 중에서 가장 뛰어난 수리 성능을 달성했다.
• 수리 효과성 향상의 원인은 더 정교한 코드 검색과 더 정확한 재사용 전략에서 비롯되며, 검색 공간이나 복잡도의 증가 때문이 아니다.
• 버그 리포트 정보를 사용하지 않았음에도 불구하고, sharpFix는 Defects4J에서 ELIXIR를 능가했지만, Bugs.jar-ELIXIR에서는 더 적은 수의 정확한 패치를 생성하여, 이러한 신호를 통합할 경우 향상 가능성이 있음을 시사한다.