[論文レビュー] Optimizing Quantum Annealing Schedules: From Monte Carlo Tree Search to QuantumZero

Yuqin Chen, Yu Chen+3 more|arXiv (Cornell University)|Apr 6, 2020

Quantum Computing Algorithms and Architecture参考文献 49被引用数 4

ひとこと要約

本論文では、断続的量子計算における量子アニーリングスケジュールを自動的に最適化するための、ニューラルネットワークを強化したモンテカルロ木探索（MCTS）フレームワークであるQuantumZero（QZero）を提案する。MCTSとトランスファーラーニングを活用することで、QZeroは効率的に高成功率のスケジュールを発見でき、特に事前学習を経た後、類似した多数の問題を解く際には、他の強化学習手法を上回る性能を発揮する。

ABSTRACT

Quantum annealing is a practical approach to execute the native instruction set of the adiabatic quantum computation model. The key of running adiabatic algorithms is to maintain a high success probability of evolving the system into the ground state of a problem-encoded Hamiltonian at the end of an annealing schedule. This is typically done by executing the adiabatic algorithm slowly to enforce adiabacity. However, properly optimized annealing schedule can accelerate the computational process. Inspired by the recent success of DeepMind's AlphaZero algorithm that can efficiently explore and find a good winning strategy from a large combinatorial search with a neural-network-assisted Monte Carlo Tree Search (MCTS), we adopt MCTS and propose a neural-network-enabled version, termed QuantumZero (QZero), to automate the design of an optimal annealing schedule in a hybrid quantum-classical framework. The flexibility of having neural networks allows us to apply transfer-learning technique to boost QZero's performance. We find both MCTS and QZero to perform very well in finding excellent annealing schedules even when the annealing time is short in the 3-SAT examples we consider in this study. We also find MCTS and QZero to be more efficient than many other leading reinforcement leanring algorithms for the task of desining annealing schedules. In particular, if there is a need to solve a large set of similar problems using a quantum annealer, QZero is the method of choice when the neural networks are first pre-trained with examples solved in the past.

研究の動機と目的

• 量子アニーリングにおける基底状態に到達する確率を最大化する最適なアニーリングスケジュールを設計する課題に対処すること。
• 機械学習を用いてスケジュールの自動発見を実現し、遅く手作業によるチューニングに依存するのを減らすこと。
• 標準的な断続的発展を越えて、量子アニーリングの収束を加速することで計算効率を向上させること。
• 類似した問題間でのトランスファーラーニングを可能にし、関連する3-SATインスタンスの大量処理において性能を向上させること。
• 量子アニーラーのスケジューリング最適化において、既存の強化学習ベースラインを上回ること。

提案手法

• 古典的MCTSが可能なアニーリングスケジュールの空間を探索するハイブリッド量子古典フレームワークを採用する。
• MCTSにニューラルネットワークを統合し、木の探索と価値推定をガイドすることで、高次元のスケジュール空間における効率的探索を可能にする。
• 事前に解かれた3-SAT問題でニューラルネットワークを事前学習することで、類似した新規問題への学習を加速するトランスファーラーニングを活用する。
• 量子アニーリング実行からの成功確率フィードバックに基づき、反復的にアニーリングスケジュールを最適化するMCTSベースのQZeroアルゴリズムを適用する。
• 木ポリシーとバックアップ関数を用いて、探索と活用のバランスを取ることで、探索空間における最適化を実現する。
• ニューラルネットワークの一般化能力を活用し、既知の良好なスケジュールから類似する新規問題インスタンスへの外挿を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを強化したMCTSアプローチは、量子アニーリングの高パフォーマンススケジュールを効果的に発見できるか？
• RQ2 QZeroは、他の強化学習アルゴリズムと比較して、アニーリングスケジュール最適化においてどのように性能を発揮するか？
• RQ3 トランスファーラーニングは、類似問題間でのスケジュール最適化効率をどの程度向上させるか？
• RQ4 短いアニーリング時間下でも、QZeroは高い成功確率を維持できるか？
• RQ5 MCTSおよびQZeroは、従来の断続的発展と比較して、計算速度と成功確率の両面で優れているか？

主な発見

• QZeroおよびMCTSは、3-SAT問題において短いアニーリング時間でも、最適なアニーリングスケジュールを高成功率で発見する。
• ニューラルネットワークを強化したQZeroは、スケジューリング最適化タスクにおいて、複数の主要な強化学習アルゴリズムを上回る性能を発揮する。
• 事前学習後に類似した多数の問題を解く際、トランスファーラーニングがQZeroの性能を顕著に向上させる。
• 標準的な断続的発展よりも、QZeroは高品質なスケジュールへの収束を高速化し、遅いブルートフォースチューニングの必要性を低減する。
• 量子アニーリング問題に一般的に見られる組み合わせ的探索空間において、本手法は頑健性とスケーラビリティを示す。
• MCTSおよびQZeroの両方が、最小限の再トレーニングで多様な3-SATインスタンスにわたって高い性能を維持する優れた一般化能力を示す。