[논문 리뷰] Understanding and Finding JIT Compiler Performance Bugs

Zijian Yi, Cheng Ding외 2명|arXiv (Cornell University)|2026. 03. 06.

Software System Performance and Reliability인용 수 0

한 줄 요약

이 논문은 네 가지 엔진에 걸친 JIT 컴파일러 성능 버그를 실증적으로 연구하고, 계층화된 차등 성능 테스트를 위한 Jittery를 제안하며, 도구를 사용해 12개의 새로운 버그(11개 확인, 6개 수정)를 보고한다.

ABSTRACT

Just-in-time (JIT) compilers are key components for many popular programming languages with managed runtimes (e.g., Java and JavaScript). JIT compilers perform optimizations and generate native code at runtime based on dynamic profiling data, to improve the execution performance of the running application. Like other software systems, JIT compilers might have software bugs, and prior work has developed a number of automated techniques for detecting functional bugs (i.e., generated native code does not semantically match that of the original code). However, no prior work has targeted JIT compiler performance bugs, which can cause significant performance degradation while an application is running. These performance bugs are challenging to detect due to the complexity and dynamic nature of JIT compilers. In this paper, we present the first work on demystifying JIT performance bugs. First, we perform an empirical study across four popular JIT compilers for Java and JavaScript. Our manual analysis of 191 bug reports uncovers common triggers of performance bugs, patterns in which these bugs manifest, and their root causes. Second, informed by these insights, we propose layered differential performance testing, a lightweight technique to automatically detect JIT compiler performance bugs, and implement it in a tool called Jittery. We incorporate practical optimizations into Jittery such as test prioritization, which reduces testing time by 92.40% without compromising bug-detection capability, and automatic filtering of false-positives and duplicates, which substantially reduces manual inspection effort. Using Jittery, we discovered 12 previously unknown performance bugs in the Oracle HotSpot and Graal JIT compilers, with 11 confirmed and 6 fixed by developers.

연구 동기 및 목표

• 주요 엔진(HotSpot, Graal, V8, SpiderMonkey) 전반의 실제 JIT 컴파일러 성능 버그를 평가한다.
• 테스트 및 디버깅 지침을 위해 트리거, 증상, 근본 원인을 특성化한다.
• 계층화된 차등 테스트를 기반으로 경량 탐지 도구(Jittery)를 개발하고 평가한다.
• 향후 연구를 돕기 위해 JIT 성능 버그의 공개 가능한 데이터셋을 제공한다.

제안 방법

• 네 가지 JIT 엔진(HotSpot, Graal, V8, SpiderMonkey)의 191개 버그 보고서를 수동으로 심층 분석한다.
• 성능 버그의 일반적인 트리거, 패턴 및 근본 원인을 식별한다.
• 많은 소형 프로그램에 대해 두 JIT 구성 간을 비교하는 계층화된 차등 성능 테스트 도구인 Jittery를 설계하고 구현한다.
• 테스트 우선순위 지정 및 가지치기와 같은 최적화를 도입하여 테스트 시간과 거짓 양성(False positives)을 줄인다.
• 실제 엔진에서 실행하여 Jittery를 평가하고 이전에 알려지지 않은 버그를 발견한다(총 12개; 11개 확인; 6개 수정).
• 프로젝트 저장소에서 데이터셋과 스크립트를 공개한다.

실험 결과

연구 질문

• RQ1 RQ1: 어떤 입력 산물이 JIT 성능 버그를 유발하는가?
• RQ2 RQ2: JIT 성능 버그의 일반적인 증상은 무엇인가?
• RQ3 RQ3: JIT 성능 버그의 일반적인 근본 원인은 무엇인가?

주요 결과

• 버그의 거의 절반은 전체 벤치마크가 아닌 작은 마이크로벤치마크를 통해 드러날 수 있다.
• 버그는 일반적으로 성능 저하나 동등 실행 간의 차이와 같은 비교 신호를 통해 자주 탐지된다.
• JIT 특화 기능(예: 추측 및 런타임 상호작용)이 전통적 최적화 문제를 넘어 버그의 중요한 원천이다.
• Jittery는 계층화된 테스트와 우선순위 지정으로 버그 탐지 저하 없이 테스트 시간을 92.40% 단축한다.
• Jittery를 사용한 저자들은 Oracle HotSpot과 Graal JIT 컴파일러에서 12개의 이전에 알려지지 않은 성능 버그를 발견했다; 11개는 확인되었고 6개는 개발자가 수정했다.
• 본 연구는 향후 연구를 위한 JIT 성능 버그의 공개 데이터셋을 제공한다.