[논문 리뷰] ASTOR: Evolutionary Automatic Software Repair for Java

Matías Martínez, Martin Monperrus|arXiv (Cornell University)|2014. 10. 24.

Software Testing and Debugging Techniques참고 문헌 11인용 수 6

한 줄 요약

ASTOR는 자바에서 진화적 자동 소프트웨어 복구를 위한 오픈소스이자 확장 가능한 프레임워크로, GenProg, PAR 템플릿의 일부, 그리고 유전적 프로그래밍과 테스트 세트 검증을 기반으로 한 변형 테스트 기반 접근법을 구현한다. 공통의 결함 로컬라이제이션, 복구 검증, 확장 가능한 컴포넌트를 제공함으로써 복구 기법 간 재현 가능하고 비교 가능한 평가를 가능하게 하며, GPL v2 라이선스 하에 배포된다.

ABSTRACT

Context: During last years, many automatic software repair approaches have been presented by the software engineering research community. According to the corresponding papers, these approaches are able to repair real defects from open source projects. Problematic: Some previous publications in the automatic repair field do not provide the implementation of theirs approaches. Consequently, it is not possible for the research community to re-execute the original evaluation, to set up new evaluations (for example, to evaluate the performance against new defects) or to compare approaches against each others. Solution: We propose a publicly available automatic software repair tool called Astor. It implements three state-of-the-art automatic software repair approaches in the context of Java programs (including GenProg and a subset of PAR's templates). The source code of Astor is licensed under the GNU General Public Licence (GPL v2).

연구 동기 및 목표

• 복구 기법의 공개 가능하고 오픈소스 구현을 제공함으로써 자동 소프트웨어 복구 분야의 재현성 위기 문제를 해결하기 위해.
• 다양한 최신 복구 접근법 간에 결함 로컬라이제이션과 복구 검증을 통합하여 일관된 평가를 가능하게 하기 위해.
• 연구자들이 동일한 모듈러 프레임워크를 기반으로 기존 복구 방법을 비교, 확장, 재평가할 수 있도록 하기 위해.
• 테스트 케이스 우선순위 지정 및 코드 재사용 전략과 같은 사용자 정의 가능한 컴포넌트를 통해 확장성을 지원하기 위해.
• 복구 로직을 핵심 진화적 계산 및 테스팅 인fra구조에서 분리하여 재사용 가능하고 일반적인 프레임워크를 제공하기 위해.

제안 방법

• ASTOR은 Spoon 라이브러리를 통해 추상구문트리(Abstract Syntax Tree, AST) 수준에서 소스 코드 변환을 적용함으로써 유전적 프로그래밍을 사용해 프로그램 버전을 진화시킨다.
• 각 세대에서 부모 버전에 변환을 적용하여 자식 버전을 생성하는 프로그램 버전의 집단을 유지한다.
• 적합도는 실패하는 테스트 케이스의 수에 기반하며, 목표는 실패하는 테스트가 없어져 복구된 프로그램을 얻는 것이다.
• 통합된 결함 로컬라이제이션 모듈은 Ochiai 공식을 사용해 의심스러운 문장에 대한 신뢰도 점수를 계산하며, 이 점수를 기반으로 가중 랜덤 선택을 통해 변환 대상으로 삼는다.
• 복구 검증은 실패한 테스트 케이스와 이전에 통과했던 테스트 케이스를 모두 실행하여 정확성과 회귀 안전성을 확보한다.
• 테스트 케이스 우선순위 지정 및 코드 재사용 전략(예: 로컬 vs 글로벌)과 같은 플러그인 가능한 컴포넌트를 통해 확장성을 지원한다.

실험 결과

연구 질문

• RQ1 통합된 오픈소스 프레임워크가 자동 소프트웨어 복구 연구 분야의 재현성과 비교 가능성에 기여할 수 있는가?
• RQ2 동일한 프레임워크 내에서 다양한 복구 접근법에 대해 공통의 결함 로컬라이제이션 기법(Ochiai 공식)이 얼마나 효과적인가?
• RQ3 공통의 복구 검증 파이프라인을 통해 다양한 복구 전략 간의 정확성 확보와 회귀 방지를 얼마나 잘 보장할 수 있는가?
• RQ4 GenProg, PAR 템플릿, 변형 기반 복구와 같은 여러 복구 기법을 하나의 프레임워크에 통합할 경우 유지보수성과 확장성에 어떤 영향을 미치는가?
• RQ5 의심스러운 문장에 대한 대체 탐색 전략을 포함한 사용자 정의 가능한 복구 워크플로우를 프레임워크가 지원할 수 있는가?

주요 결과

• ASTOR은 하나의 재사용 가능한 프레임워크 내에서 세 가지 최신 복구 기법—GenProg, PAR의 템플릿 일부, 변형 테스트 기반 방법—을 성공적으로 구현하였다.
• 프레임워크는 Ochiai 공식을 사용해 결함 로컬라이제이션을 수행하고, 의심스러운 문장을 가중 랜덤 선택 전략으로 선정함으로써 모든 복구 기법 간 일관성을 확보한다.
• ASTOR 내 모든 복구 기법은 동일한 테스트 세트 기반 검증 파이프라인을 공유하며, 실패한 테스트를 통과시키는 정확성과 이전에 통과했던 테스트를 통과시키는 회귀 안전성을 모두 검증한다.
• 소스 코드는 https://github.com/SpoonLabs/astor 에서 GPL v2 라이선스 하에 공개되어 있어 완전한 재현 가능성과 커뮤니티 기반 확장이 가능하다.
• ASTOR의 모듈러 아키텍처는 테스트 케이스 우선순위 지정이나 사용자 정의 코드 재사용 전략과 같은 확장 기능을 핵심 복구 로직을 수정하지 않고도 통합할 수 있도록 한다.
• 결함 로컬라이제이션과 검증을 통합함으로써 ASTOR는 동일한 벤치마크에서 다양한 복구 기법 간 공정한 비교와 일관된 평가를 가능하게 한다.