[논문 리뷰] Understanding Bugs in Quantum Simulators: An Empirical Study

Krishna Upadhyay, Moshood Fakorede외 1명|arXiv (Cornell University)|2026. 03. 24.

Quantum Computing Algorithms and Architecture인용 수 0

한 줄 요약

본 논문은 12개의 오픈 소스 양자 시뮬레이터에 걸쳐 확인된 394개의 버그를 분석하여 근본 원인, 발현, 기원 및 발견 방법을 특성화하며, 주로 사용자 주도적인 발견 프로세스와 중요한 고전 인프라 관련 실패를 드러낸다.

ABSTRACT

Quantum simulators are a foundational component of the quantum software ecosystem. They are widely used to develop and debug quantum programs, validate compiler transformations, and support empirical claims about correctness and performance. In the absence of large-scale quantum hardware, simulator outputs are often treated as ground truth for algorithm development and system evaluation. However, quantum simulators also introduce unique implementation challenges. They must faithfully emulate quantum behavior while executing on classical hardware, requiring complex representations of quantum state evolution, operator composition, and noise modeling. Yet, we still lack a large-scale and in-depth study of failures in quantum simulators. To bridge this gap, this work presents a comprehensive empirical study of bugs in widely used open-source quantum simulators. We analyze 394 confirmed bugs from 12 simulators and manually categorize them based on root causes, failure manifestations, affected components, and discovery mechanisms. Our study reveals several key findings. First, bug discovery is largely user-driven, with most crashes, exceptions, and resource-related failures not detected by automated testing and identified after deployment. Second, logical correctness failures are widespread and often silent, producing plausible but incorrect outputs without triggering crashes or explicit error signals. Third, many critical failures originate in classical simulator infrastructure, such as memory management, indexing, configuration, and dependency compatibility, rather than in core quantum execution logic. These findings provide new insights into the reliability challenges of quantum simulators and highlight opportunities to improve testing and validation practices in the quantum software ecosystem.

연구 동기 및 목표

• 소프트웨어 기반 양자 시뮬레이터의 결함 근본 원인을 식별한다.
• 시뮬레이터 이슈가 어떻게 발현되는지(출력, 충돌, 무응답 실패)를 특징짓는다.
• 양자 실행과 고전 인프라 구성 요소 간의 실패를 위치화한다.
• 이슈 발견 방식과 테스트 관행의 효과성을 평가한다.

제안 방법

• PR 연결 수정이 있는 12개의 독립형 양자 시뮬레이터의 닫힌 이슈를 수집한다.
• 패치로 해결된 394개의 확인된 이슈로 수동으로 필터링한다.
• 각 이슈를 범주, 근본 원인, 발현, 양자 구성요소, 소프트웨어 구성요소, 발견 등 차원으로 주석 처리한다.
• 두 명의 주석자와 함께 주석 간 신뢰도를 보장하고 이견을 해결한다.

Figure 1 . Typical architecture of quantum simulators, showing user-facing interfaces, circuit preparation, simulation backend, and supporting classical layers for acceleration and infrastructure.

실험 결과

연구 질문

• RQ1 RQ1: 양자 시뮬레이터의 이슈 근본 원인은 무엇인가?
• RQ2 RQ2: 양자 시뮬레이터의 이슈는 어떻게 발현되는가?
• RQ3 RQ3: 심각한 실패는 시뮬레이터 아키텍처 어디에서 기원하는가?
• RQ4 RQ4: 이슈는 어떻게 발견되며 이것이 테스트 효율성에 대해 무엇을 보여주는가?

주요 결과

• 이슈 발견은 주로 사용자 주도적(78.4%)이며 자동 테스트는 이슈를 거의 발견하지 못한다(10.7%).
• 심각한 실패는 종종 내부 테스트를 피하고 배포 후에 발견된다.
• 논리적 정합성 실패는 흔하며 종종 무음으로 잘못된 출력을 만들고 오류를 발생시키지 않는다.
• 많은 치명적 실패는 핵심 양자 로직보다 고전 인프라에서 기원한다.
• 종속성 및 플랫폼 호환성을 포함한 생태계 취약성이 신뢰성 문제를 자주 일으킨다.

Figure 2 . Overview of the data collection and analysis methodology, illustrating the multi-stage pipeline from initial project selection to the final taxonomic analysis of issues.