[논문 리뷰] Optimizing Quantum Annealing Schedules: From Monte Carlo Tree Search to QuantumZero

Yuqin Chen, Yu Chen외 3명|arXiv (Cornell University)|2020. 04. 06.

Quantum Computing Algorithms and Architecture참고 문헌 49인용 수 4

한 줄 요약

이 논문은 애디아바틱 양자 계산을 위한 양자 앤날링 스케줄을 자동으로 최적화하기 위해 신경망을 통합한 몬테카를로 트리 탐색(MCTS) 프레임워크인 QuantumZero(QZero)를 제안한다. MCTS와 전이학습을 활용함으로써 QZero는 높은 성공률을 보이는 스케줄을 효율적으로 발견하며, 특히 사전 훈련 후 유사한 문제의 대규모 집합을 해결할 때 기존 강화학습 방법들을 능가한다.

ABSTRACT

Quantum annealing is a practical approach to execute the native instruction set of the adiabatic quantum computation model. The key of running adiabatic algorithms is to maintain a high success probability of evolving the system into the ground state of a problem-encoded Hamiltonian at the end of an annealing schedule. This is typically done by executing the adiabatic algorithm slowly to enforce adiabacity. However, properly optimized annealing schedule can accelerate the computational process. Inspired by the recent success of DeepMind's AlphaZero algorithm that can efficiently explore and find a good winning strategy from a large combinatorial search with a neural-network-assisted Monte Carlo Tree Search (MCTS), we adopt MCTS and propose a neural-network-enabled version, termed QuantumZero (QZero), to automate the design of an optimal annealing schedule in a hybrid quantum-classical framework. The flexibility of having neural networks allows us to apply transfer-learning technique to boost QZero's performance. We find both MCTS and QZero to perform very well in finding excellent annealing schedules even when the annealing time is short in the 3-SAT examples we consider in this study. We also find MCTS and QZero to be more efficient than many other leading reinforcement leanring algorithms for the task of desining annealing schedules. In particular, if there is a need to solve a large set of similar problems using a quantum annealer, QZero is the method of choice when the neural networks are first pre-trained with examples solved in the past.

연구 동기 및 목표

• 양자 앤날링에서 지구 상태에 도달할 확률을 최대화하는 최적의 앤날링 스케줄을 설계하는 데 도전하는 것.
• 기계 학습을 활용해 효율적인 앤날링 스케줄을 자동으로 발견함으로써 느린 수동 조정에 대한 의존도를 줄이는 것.
• 표준 애디아바틱 진화를 초월해 양자 앤날링의 수렴 속도를 가속화함으로써 계산 효율성을 향상시키는 것.
• 유사한 문제들 간의 전이학습을 가능하게 하여 대량의 관련 3-SAT 인스턴스를 해결할 때 성능을 향상시키는 것.
• 양자 앤날링 기계를 위한 스케줄링 최적화에서 기존 강화학습 기반 알고리즘들을 능가하는 것.

제안 방법

• 고전적 MCTS가 가능한 앤날링 스케줄 공간을 탐색하는 하이브리드 양자-고전적 프레임워크를 채택한다.
• 신경망을 MCTS에 통합하여 트리 탐색과 가치 추정을 안내함으로써 고차원 스케줄 공간에서의 효율적 탐색을 가능하게 한다.
• 이미 해결된 3-SAT 문제들에 대해 사전 훈련한 신경망을 통해 유사한 새로운 문제들에 대한 학습 속도를 가속화함으로써 전이학습을 적용한다.
• 양자 앤날링 실행에서의 성공 확률 피드백에 기반해 반복적으로 앤날링 스케줄을 개선하는 MCTS 기반 QZero 알고리즘을 적용한다.
• 트리 정책과 백업 함수를 사용해 탐색 공간에서 탐색과 이용의 균형을 조절함으로써 앤날링 스케줄을 최적화한다.
• 신경망의 일반화 능력을 활용해 기존에 잘 알려진 좋은 스케줄에서 새로운 유사한 문제 인스턴스로의 외삽을 수행한다.

실험 결과

연구 질문

• RQ1 신경망을 보강한 MCTS 접근법이 양자 앤날링을 위한 고성능 앤날링 스케줄을 효과적으로 발견할 수 있는가?
• RQ2 QZero는 다른 강화학습 알고리즘과 비교해 앤날링 스케줄 최적화에서 어떻게 성능을 내는가?
• RQ3 전이학습이 유사한 문제들 간의 앤날링 스케줄 최적화 효율성을 얼마나 향상시킬 수 있는가?
• RQ4 짧은 앤날링 시간 조건에서도 QZero가 높은 성공 확률을 유지할 수 있는가?
• RQ5 MCTS와 QZero는 전통적인 애디아바틱 진화에 비해 계산 속도와 성공률 측면에서 뛰어나게 성능을 내는가?

주요 결과

• QZero와 MCTS 모두 3-SAT 문제에서 짧은 앤날링 시간 조건에서도 최적의 앤날링 스케줄을 찾는 데 높은 성공 확률을 달성한다.
• 신경망을 통합한 QZero는 스케줄링 최적화 작업에서 여러 주요 강화학습 알고리즘들을 능가한다.
• 사전 훈련 후 유사한 문제의 대규모 집합을 해결할 때 전이학습이 QZero의 성능을 크게 향상시킨다.
• 표준 애디아바틱 진화에 비해 QZero는 고품질 스케줄에 더 빠르게 수렴함으로써 느린 브루트 포스 조정의 필요성을 줄인다.
• 이 방법은 양자 앤날링 문제에서 흔히 나타나는 조합 최적화 공간에서 뛰어난 강건성과 확장성을 보여준다.
• MCTS와 QZero 모두 다양한 3-SAT 인스턴스에서 뛰어난 일반화 성능를 유지하며 최소한의 재훈련으로도 높은 성능를 유지한다.