[논문 리뷰] Mitigating Noise in Quantum Software Testing Using Machine Learning

Asmar Muqeet, Tao Yue외 2명|arXiv (Cornell University)|2023. 06. 29.

Quantum Computing Algorithms and ArchitectureComputer Science인용 수 3

한 줄 요약

이 논문은 NISQ 양자 컴퓨터에서 발생하는 노이즈 패턴을 학습하고 필터링하여 양자 소프트웨어 테스팅의 노이즈를 완화하는 기계학습 기반 접근법인 QOIN을 제안한다. 완전 연결 신경망을 사용한 전이 학습을 통해 QOIN은 대부분의 백엔드에서 노이즈 영향을 80% 이상 감소시켜, 필터링된 출력을 통해 정확한 테스트 케이스 평가를 가능하게 하며, 공개된 테스트 오라클을 사용해 99% 정밀도, 75% 재현율, 86% F1 점수를 달성한다.

ABSTRACT

Quantum Computing (QC) promises computational speedup over classic computing for solving complex problems. However, noise exists in current and near-term quantum computers. Quantum software testing (for gaining confidence in quantum software's correctness) is inevitably impacted by noise, to the extent that it is impossible to know if a test case failed due to noise or real faults. Existing testing techniques test quantum programs without considering noise, i.e., by executing tests on ideal quantum computer simulators. Consequently, they are not directly applicable to testing quantum software on real quantum computers or noisy simulators. To this end, we propose a noise-aware approach (named QOIN) to alleviate the noise effect on test results of quantum programs. QOIN employs machine learning techniques (e.g., transfer learning) to learn the noise effect of a quantum computer and filter it from a quantum program's outputs. Such filtered outputs are then used as the input to perform test case assessments (determining the passing or failing of a test case execution against a test oracle). We evaluated QOIN on IBM's 23 noise models, Google's two available noise models, and Rigetti's Quantum Virtual Machine (QVM), with nine real-world quantum programs and 1000 artificial quantum programs. Results show that QOIN can reduce the noise effect by more than $80\%$ on the majority of noise models. For quantum software testing, we used an existing test oracle and showed that QOIN attained scores of $99\%$, $75\%$, and $86\%$ for precision, recall, and F1-score, respectively, for the test oracle across six real-world programs. For artificial programs, QOIN achieved scores of $93\%$, $79\%$, and $86\%$ for precision, recall, and F1-score. This highlights QOIN's effectiveness in learning noise patterns for noise-aware quantum software testing.

연구 동기 및 목표

• 현재 및 근접한 양자 컴퓨터에서 발생하는 노이즈가 양자 소프트웨어 테스팅의 신뢰성에 악영향을 미치는 문제를 해결한다.
• 이де적이고 노이즈가 없는 시뮬레이터에 의존하는 기존 테스팅 기법의 한계를 극복하여 실제 노이즈 있는 하드웨어에서 실패하지 않도록 한다.
• 실제 고장과 노이즈로 인한 실패를 구분함으로써 실제 NISQ 장치에서 정확한 테스트 케이스 평가를 가능하게 한다.
• 일반적이고 회로 특정 노이즈 패턴을 모두 수용할 수 있는 기계학습 기반의 확장 가능한 백엔드 전용 노이즈 필터링 메커니즘을 개발한다.
• 다양한 양자 프로그램과 다수의 실제 및 시뮬레이션된 노이즈가 있는 백엔드에서 접근법의 효과성을 검증한다.

제안 방법

• 기본 양자 회로에서 발생하는 노이즈 출력을 기반으로 특정 NISQ 백엔드의 일반적인 노이즈 패턴을 학습하기 위해 완전 연결 신경망(MLP)을 훈련한다.
• 목표 프로그램의 노이즈 출력을 기반으로 미세조정을 통해 일반 노이즈 모델을 회로 특정 노이즈에 맞게 전이 학습한다.
• 훈련된 회로 특정 모델을 노이즈 필터로 활용하여 노이즈 있는 프로그램 실행 결과에서 깨끗한 출력을 예측한다.
• 필터링된 출력을 기존 테스트 오라클에 입력하여 테스트 케이스의 통과/실패 상태를 평가하고, 필터링되지 않은 결과보다 정확도를 향상시킨다.
• 일반화 능력을 평가하기 위해 Qiskit을 사용해 1000개의 다양한 인위적 양자 회로를 생성한다.
• 백엔드 노이즈 특성이 변화할 경우 주기적으로 노이즈 모델을 재훈련하는 Baseline Tuner 모듈을 통합하며, 이 경우 회로-백엔드 조합당 약 14분의 비용이 발생한다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 실제 및 시뮬레이션된 NISQ 백엔드에서 양자 프로그램 출력의 노이즈를 효과적으로 학습하고 필터링할 수 있는가?
• RQ2 다양한 양자 프로그램과 백엔드에서 QOIN은 필터링되지 않은 결과에 비해 노이즈 영향을 얼마나 감소시키는가?
• RQ3 QOIN은 실제 소프트웨어 결함으로 인한 실패와 노이즈 유도 오류를 얼마나 효과적으로 구분하는가?
• RQ4 QOIN을 양자 소프트웨어 테스팅 파이프라인에 통합할 경우 계산 오버헤드는 어느 정도인가?
• RQ5 QOIN은 다양한 회로 구조, 깊이, 다양성 기준에서 얼마나 잘 일반화되는가?

주요 결과

• QOIN은 평가된 26개의 백엔드 중 다수에서 노이즈 영향을 80% 이상 감소시켰으며, IBM의 23개 노이즈 모델, Google의 두 개 모델, Rigetti의 QVM을 포함한다.
• 공개된 테스트 오라클을 사용해 여섯 개의 실제 양자 프로그램에서 QOIN은 99% 정밀도, 75% 재현율, 86% F1 점수를 달성하여 결함 탐지 정확도가 매우 높음을 입증한다.
• 1000개의 인위적으로 생성된 양자 프로그램에서 QOIN은 93% 정밀도, 79% 재현율, 86% F1 점수를 기록하여 다양한 회로 유형에서의 강건성을 확인한다.
• GPU에서 노이즈 필터 모델의 추론 시간은 몇 초에 불과하여 테스트 평가에 대한 런타임 오버헤드가 극히 적음을 시사한다.
• Baseline Tuner 모듈은 평균적으로 회로-백엔드 조합당 약 14분이 소요되며, 이 중 12분은 데이터 생성에 소요되지만, 실제 NISQ 하드웨어에서는 이 비용이 크게 낮아질 것이다.
• Nvidia 3080 GPU에서 기본 모델의 일회성 훈련 비용은 평균 약 1분으로, 초기 설정 비용이 있음에도 불구하고 접근법이 실현 가능하다는 것을 입증한다.