[논문 리뷰] Fast and Precise On-the-fly Patch Validation for All

Lingchao Chen, Lingming Zhang|arXiv (Cornell University)|2020. 07. 22.

Software Testing and Debugging Techniques참고 문헌 54인용 수 4

한 줄 요약

이 논문은 UniAPR를 제안하며, 이는 JVM 세션을 재사용하고 패치 실행 간에 정확히 JVM 전역 상태를 리셋함으로써 바이트코드 수준과 소스코드 수준의 자동 프로그램 수리(APR)를 모두 가속화하는 통합형 실시간 패치 검증 프레임워크이다. 기존의 연구와 달리 UniAPR는 상태 오염으로 인한 모호함을 제거하면서도 정확성에 손상을 주지 않은 채 최신 APR 도구들보다 10배 이상 빠른 성능을 달성한다.

ABSTRACT

Generate-and-validate (G&V) automated program repair (APR) techniques have been extensively studied during the past decade. Meanwhile, such techniques can be extremely time-consuming due to manipulation of the program code to fabricate a large number of patches and also repeated executions of tests on patches to identify potential fixes. PraPR, a recent G&V APR technique, reduces these costs by modifying program code directly at the level of compiled bytecode, and further performing on-the-fly patching by allowing multiple patches to be tested within the same JVM session. However, PraPR is limited due to its pattern-based, bytecode-level nature and it is basically unsound/imprecise as it assumes that patch executions do not change global JVM state and affect later patch executions on the same JVM session. Inspired by the PraPR work, we propose a unified patch validation framework, named UniAPR, which aims to speed up the patch validation for both bytecode and source-code APR via on-the-fly patching; furthermore, UniAPR addresses the imprecise patch validation issue by resetting the JVM global state via runtime bytecode transformation. We have implemented UniAPR as a fully automated Maven Plugin. We have also performed the first study of on-the-fly patch validation for state-of-the-art source-code-level APR. Our experiments show the first empirical evidence that vanilla on-the-fly patch validation can be imprecise/unsound; in contrast, our UniAPR framework can speed up state-of-the-art APR by over an order of magnitude without incurring any imprecision in patch validation, enabling all existing APR techniques to explore a larger search space to fix more bugs in the near future. Furthermore, UniAPR directly enables hybrid source and bytecode APR to fix substantially more bugs than all state-of-the-art APR techniques (under the same time limit) in the near future.

연구 동기 및 목표

• 패치 검증이 실행 시간의 대부분을 차지하는 자동 프로그램 수리(APR)의 핵심 성능 저하 요인을 해결하기 위해.
• 단일 JVM 세션 내에서 패치 간에 영향을 주지 않는다고 가정하는 기존 실시간 패치 검증 기법의 정확성 부족 문제를 해결하기 위해.
• 실시간 패치 검증을 바이트코드 수준의 APR을 넘어서 소스코드 수준의 APR 기법까지 일반화하기 위해.
• 다양한 APR 기법을 하나의 효율적인 검증 프레임워크 아래 통합함으로써 하이브리드 APR를 가능하게 하기 위해.
• 실제 실험을 통해 일반적인 실시간 검증이 JVM 상태 오염으로 인해 부정확하고 비정확하다는 것을 입증하고, 런타임 상태 리셋을 통해 이를 해결하기 위해.

제안 방법

• UniAPR는 단일 JVM 세션 내에서 HotSwap를 활용해 실시간 패치를 수행함으로써 비용이 큰 프로세스 재시작을 방지한다.
• 패치 실행 간에 내부 JVM 상태(예: 정적 필드, 클래스 로더 등)를 리셋하기 위해 런타임 바이트코드 변환을 적용하여 부작용 누출을 방지한다.
• 이 프레임워크는 Maven 플러그인으로 구현되어 있으며, 소스 수준과 바이트코드 수준의 기존 APR 도구들과의 원활한 통합을 가능하게 한다.
• 기존의 모든 APR 기법을 플러그인으로 지원하여 다양한 패치 생성 전략 간의 통합 검증을 가능하게 한다.
• 테스트 기반 검증을 사용하여 상태 리셋 후 동일한 JVM 세션 내에서 각 패치에 대해 개발자 테스트를 실행한다.
• 각 패치의 실행 컨텍스트를 고립시킴으로써 검증의 정확성을 확보하여 반복적인 패치 테스트 상황에서도 검증이 정확하게 유지된다.

실험 결과

연구 질문

• RQ1 소스코드 수준과 바이트코드 수준의 APR에 모두 적용 가능한 빠르고 정확한 실시간 패치 검증이 가능할 수 있는가?
• RQ2 JVM 상태 오염으로 인해 일반적인 실시간 패치 검증이 비정확한가?
• RQ3 통합 프레임워크를 통해 기존의 모든 APR 기법, 특히 소스 및 바이트코드 기반의 하이브리드 접근 방식까지도 가속화할 수 있는가?
• RQ4 UniAPR는 최신 APR 도구들의 확장성과 버그 수정 커버리지에 얼마나 기여할 수 있는가?
• RQ5 런타임 바이트코드 변환을 통한 상태 리셋이 실시간 검증에서 부작용을 효과적으로 제거하는가?

주요 결과

• 실제 실험 결과에 따르면 일반적인 실시간 패치 검증은 JVM 상태 오염으로 인해 정확도가 떨어지고 비정확하다.
• UniAPR는 CapGen, SimFix, ACS와 같은 최신 APR 도구들에 대해 패치 검증 속도를 10배 이상 향상시키면서도 정확도에 손상을 주지 않았다.
• 이 프레임워크는 동일한 시간 제한 내에서 단일 최신 도구보다 훨씬 더 많은 버그를 수정할 수 있도록 하이브리드 소스코드 및 바이트코드 수준의 APR를 가능하게 했다.
• JVM 상태 리셋을 위한 런타임 바이트코드 변환은 패치 실행 간의 고립을 효과적으로 보장하여 검증의 정확성을 확보한다.
• UniAPR는 기존 APR 도구들과 완전히 호환되며, Maven 플러그인으로서의 통합이 가능하여 광범위한 도입을 가능하게 한다.
• 본 연구는 실시간 패치가 상태 고립이 적절히 구현된 경우 효율적이고 정확할 수 있음을 처음으로 실증적으로 입증했다.