[論文レビュー] Benchmarking a quantum annealing processor with the time-to-target metric

James King, Sheir Yarkoni+3 more|arXiv (Cornell University)|Aug 20, 2015

Quantum Computing Algorithms and Architecture参考文献 31被引用数 82

ひとこと要約

本論文は、時間内に量子プロセッサの性能を再現できるように古典的ソルバーを挑戦させる固定時間窓を用いることで、指数的スケーリングの問題やアナログノイズ依存性を回避する、時間からターゲットまでの（TTT）メトリックを導入する。D-Wave 2Xシステムは、特定の問題クラス、特に断片的ループ（FL3）インスタンスにおいて、単一スレッドの古典的ソルバーを最大600倍速く、TTTアニーリングメトリックにおいて顕著な相対的性能を示している。

ABSTRACT

In the evaluation of quantum annealers, metrics based on ground state success rates have two major drawbacks. First, evaluation requires computation time for both quantum and classical processors that grows exponentially with problem size. This makes evaluation itself computationally prohibitive. Second, results are heavily dependent on the effects of analog noise on the quantum processors, which is an engineering issue that complicates the study of the underlying quantum annealing algorithm. We introduce a novel "time-to-target" metric which avoids these two issues by challenging software solvers to match the results obtained by a quantum annealer in a short amount of time. We evaluate D-Wave's latest quantum annealer, the D-Wave 2X system, on an array of problem classes and find that it performs well on several input classes relative to state of the art software solvers running single-threaded on a CPU.

研究の動機と目的

• 時間ごとの解決（TTS）やサンプルごとの解決（STS）といった従来のメトリックが、量子アニーリング器における指数的計算時間とアナログノイズへの感受性を抱えるという限界を是正するため。
• ハードウェアのノイズに依存せず、基底状態の計算が困難な状況を避けることにより、アルゴリズム的性能のみを隔離したパフォーマンスベンチマーク手法を開発するため。
• 時間制限付きで再現可能であるメトリックを用いて、D-Wave 2X量子アニーリング器のパフォーマンスを、最先端の古典的ソフトウェアソルバーと比較評価するため。
• D-Wave 2Xが単一スレッドの古典的ソルバーに対して顕著な性能優位性を示す問題クラスを同定するため。

提案手法

• 固定時間窓内での量子アニーリング器が達成した最良の解の品質に一致できるまでに古典的ソルバーが要する時間を測定する、時間からターゲットまでの（TTT）メトリックを提案する。
• 例えば100 ms や 1 s といった固定時間窓を用い、古典的ソルバーがその時間内にD-Wave 2Xが得た最良の解に到達できるかを挑戦する。
• プログラミングオーバーヘッドを含まない TTT_anneal と含む TTT_total の両方を測定し、エンド・ツー・エンドのパフォーマンスを評価する。
• ランダムイジン（RAN）、断片的ループ（FL3）など複数の問題クラスを用い、サイズごとに100個のランダムインスタンスと分位数を用いて評価する。
• シミュレーテッドアニーリング（SA）、ハムゼ・ド・フレイタス・セルビー（HFS）、ビット並列ソルバーなど、さまざまな古典的ソルバーを、精度レベル（q = 0.001 から 0.1）の変化に応じて比較する。
• 統計的堅牢性を確保するため、100個の入力の中央値と95%信頼区間を用いる。

実験結果

リサーチクエスチョン

• RQ1 時間制限付きベンチマークメトリックは、TTS や STS に見られる指数的スケーリングやノイズ感受性を回避できるか？
• RQ2 TTTメトリック下で、D-Wave 2X はどの問題クラスにおいて単一スレッドの古典的ソルバーに対して測定可能な性能優位性を示すか？
• RQ3 精度（q）と問題サイズの変化に伴い、D-Wave 2X の相対的パフォーマンスはどのように変化するか？
• RQ4 プログラミング時間は総TTTを支配しており、量子プロセッサの見かけの優位性にどのように影響するか？
• RQ5 最適なパrameterチューニングを施した古典的ソルバーですら、TTTフレームワーク内でD-Wave 2Xのパフォーマンスに追いつけるか、それともマルチコア並列処理が必要か？

主な発見

• FL3問題クラスにおいて、D-Wave 2X は TTT_anneal メトリックで最大問題サイズで単一スレッドの古典的ソルバーを最大600倍速く、性能を発揮した。
• TTT_anneal では q = 0.1 で、TTT_total では q = 0.01 で相対的パフォーマンスがピークに達し、サンプリングとソルバー収束の最適なバランスが示された。
• TTT_total では、特に大きな問題サイズにおいて、プログラミング時間が総時間の大部分を占め、エンド・ツー・エンドのパフォーマンスにおける量子優位性が低下した。
• RANr 問題では、シミュレーテッドアニーリングのパフォーマンスが精度（q）の増加に伴い低下し、高精度インスタンスは古典的ソルバーにとってより困難であることが示唆された。
• ハムゼ・ド・フレイタス・セルビー（HFS）ソルバーは、高精度 RANr インスタンスにおいても、SA を上回る強力な古典的競合者であった。
• 本研究では、TTTメトリックで D-Wave 2X のパフォーマンスを再現するには、単一スレッドのソルバーでは追いつかず、マルチコアまたはGPUアクセcelレートドの古典的ソルバーが必要である可能性が示唆された。