[論文レビュー] Mitigating Noise in Quantum Software Testing Using Machine Learning

Asmar Muqeet, Tao Yue+2 more|arXiv (Cornell University)|Jun 29, 2023

Quantum Computing Algorithms and ArchitectureComputer Science被引用数 3

ひとこと要約

本稿では、NISQ量子コンピュータからのノイズパターンを学習・フィルタリングすることで、量子ソフトウェアテストにおけるノイズを軽減する機械学習ベースの手法QOINを提案する。全結合ニューラルネットワークを用いたトランスファーラーニングにより、大多数のバックエンドでノイズの影響を80%以上低減し、フィルタリングされた出力を通じて正確なテストケース評価を可能にした。公開済みのテストオракルを用いて、99%の精度、75%の再現率、86%のF1スコアを達成した。

ABSTRACT

Quantum Computing (QC) promises computational speedup over classic computing for solving complex problems. However, noise exists in current and near-term quantum computers. Quantum software testing (for gaining confidence in quantum software's correctness) is inevitably impacted by noise, to the extent that it is impossible to know if a test case failed due to noise or real faults. Existing testing techniques test quantum programs without considering noise, i.e., by executing tests on ideal quantum computer simulators. Consequently, they are not directly applicable to testing quantum software on real quantum computers or noisy simulators. To this end, we propose a noise-aware approach (named QOIN) to alleviate the noise effect on test results of quantum programs. QOIN employs machine learning techniques (e.g., transfer learning) to learn the noise effect of a quantum computer and filter it from a quantum program's outputs. Such filtered outputs are then used as the input to perform test case assessments (determining the passing or failing of a test case execution against a test oracle). We evaluated QOIN on IBM's 23 noise models, Google's two available noise models, and Rigetti's Quantum Virtual Machine (QVM), with nine real-world quantum programs and 1000 artificial quantum programs. Results show that QOIN can reduce the noise effect by more than $80\%$ on the majority of noise models. For quantum software testing, we used an existing test oracle and showed that QOIN attained scores of $99\%$, $75\%$, and $86\%$ for precision, recall, and F1-score, respectively, for the test oracle across six real-world programs. For artificial programs, QOIN achieved scores of $93\%$, $79\%$, and $86\%$ for precision, recall, and F1-score. This highlights QOIN's effectiveness in learning noise patterns for noise-aware quantum software testing.

研究の動機と目的

• 現在および近い将来の量子コンピュータにおけるノイズの課題に取り組み、量子ソフトウェアテストの信頼性を損なう要因を解消すること。
• 理想的でノイズのないシミュレータに依存する従来のテスト技術が、実際のノイズのあるハードウェアでは機能しないという制限を克服すること。
• 実際のNISQデバイス上で、実際のバグによる障害とノイズによる障害を区別することで、正確なテストケース評価を可能にすること。
• 一般および回路固有のノイズパターンに適応可能な、スケーラブルでバックエンド固有のノイズフィルタリング機構を機械学習を用いて開発すること。
• 多様な量子プログラムと複数の実世界およびシミュレートされたノイズのあるバックエンドを対象に、手法の有効性を検証すること。

提案手法

• 特定のNISQバックエンドの一般的ノイズパターンを学習するために、ベースライン量子回路からのノイズ混じりの出力に全結合ニューラルネットワーク（MLP）を訓練する。
• トランスファーラーニングを適用し、ターゲットプログラムのノイズ混じり出力に微調整することで、一般ノイズモデルを回路固有のノイズに適応させる。
• 訓練済みの回路固有モデルをノイズフィルタとして用い、ノイズ混じりのプログラム実行からのクリアな出力を予測する。
• フィルタリングされた出力を既存のテストオラクルに供給し、テストケースの合格／不合格状態を評価することで、未フィルタリング結果よりも正確性を向上させる。
• Qiskitを用いて、異なる回路構造と深さをカバーする1000個の多様な人工量子回路を生成し、一般化能力を評価する。
• バックエンドのノイズ特性が変化した際に定期的にノイズモデルを再訓練する「Baseline Tuner」モジュールを統合し、1回の回路-バックエンドペアあたり約14分のコストがかかる。

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、実際およびシミュレートされたNISQバックエンドの量子プログラム出力からノイズを効果的に学習し、フィルタリングできるか？
• RQ2 QOINは、多様な量子プログラムとバックエンドにおいて、未フィルタリングのテスト結果と比較して、どの程度ノイズの影響を低減できるか？
• RQ3 QOINは、実際のソフトウェアバグによる障害とノイズ由来のエラーをどの程度正確に区別できるか？
• RQ4 QOINを量子ソフトウェアテストパイプラインに統合する際の計算オーバーヘッドはどの程度か？
• RQ5 QOINは、異なる回路構造、深さ、多様性基準においてどの程度一般化できるか？

主な発見

• 26の評価対象バックエンドの大多数で、QOINはノイズの影響を80%以上低減した。これには、IBMの23種類のノイズモデル、Googleの2つのモデル、RigettiのQVMが含まれる。
• 公開済みのテストオラクルを用いて、6つの実世界の量子プログラムで99%の精度、75%の再現率、86%のF1スコアを達成し、バグ検出の高精度を示した。
• 1000個の人工的に生成された量子プログラムでは、93%の精度、79%の再現率、86%のF1スコアを達成し、多様な回路タイプにわたる頑健性を確認した。
• GPU上でのノイズフィルタモデルの推論時間は数秒にとどまり、テスト評価における実行時オーバーヘッドが最小限であることを示した。
• Baseline Tunerモジュールは、1回の回路-バックエンドペアあたり平均して約14分を要したが、そのうち12分はデータ生成に費やされた。ただし、実際のNISQハードウェアではこのコストは大幅に低減される見込みである。
• Nvidia 3080 GPU上でベースラインモデルの1回目のトレーニングに平均して約1分のコストがかかるため、初期設定を除けば、本手法は実用的であると判明した。