[논문 리뷰] Using Reinforcement Learning to Perform Qubit Routing in Quantum Compilers

Matteo G. Pozzi, Steven Herbert외 2명|arXiv (Cornell University)|2020. 07. 31.

Quantum Computing Algorithms and Architecture인용 수 16

한 줄 요약

이 논문은 양자 컴파일러에서 큐비트 라우팅을 위한 딥 Q러닝(Deep Q-Network, DQN) 기반 강화학습 방법을 제안하며, 랜덤 및 현실적인 근접 양자 회로 벤치마크에서 Qiskit 및 t|ket⟩과 같은 최신 컴파일러를 크게 능가한다. 이 방법은 새로운 상태 표현 방식과 학습 프레임워크를 사용하여 SWAP 게이트로 인한 회로 깊이를 최소화하며, 다양한 양자 아키텍처에 적응 가능하면서도 깊이 오버헤드를 최소화하는 데 뛰어난 성능을 발휘한다.

ABSTRACT

"Qubit routing" refers to the task of modifying quantum circuits so that they satisfy the connectivity constraints of a target quantum computer. This involves inserting SWAP gates into the circuit so that the logical gates only ever occur between adjacent physical qubits. The goal is to minimise the circuit depth added by the SWAP gates. In this paper, we propose a qubit routing procedure that uses a modified version of the deep Q-learning paradigm. The system is able to outperform the qubit routing procedures from two of the most advanced quantum compilers currently available, on both random and realistic circuits, across near-term architecture sizes.

연구 동기 및 목표

• 물리적 큐비트 연결성 제약으로 인해 임의의 회로를 실행하기 위해 반드시 SWAP 게이트를 삽입해야 하는 근접 양자 아키텍처에서 큐비트 라우팅 문제를 해결하기 위해.
• 특히 현실적인 하드웨어 제약 조건 하에서 회로 깊이를 최소화하지 못하는 기존 큐비트 라우팅 알고리즘의 한계를 개선하기 위해.
• 정적 규칙 기반 라우팅 접근 방식과 달리 다양한 양자 아키텍처에 적응하고 확장 가능한 강화학습 기반 시스템을 개발하기 위해.
• 최신 컴파일러와의 비교를 통해 깊이 오버헤드를 최소화하는 데 있어 뛰어난 성능을 입증하기 위해.

제안 방법

• 시스템은 큐비트 라우팅 문제를 강화학습 문제로 재정의하며, 최적의 SWAP 게이트 삽입 전략을 학습하기 위해 수정된 딥 Q네트워크(DQN)를 사용한다.
• 새로운 상태 표현 방식은 현재 큐비트 매핑과 회로 구조를 코딩하여 의사결정에 필요한 연결성 및 게이트 종속성을 포괄한다.
• 에이전트는 깊이를 페널티로 삼고 최소한의 SWAP 삽입을 장려하는 보상 함수를 사용하여 시행착오 방식으로 학습한다.
• 학습 중 탐색과 이용의 균형을 맞추기 위해 안내 기반 메커니즘을 도입하여 수렴성과 성능을 향상시킨다.
• 표준 DQN에서 사용하는 경험 재생과 타겟 네트워크를 활용하여 학습을 안정화시키며, 양자 회로 컴파일의 동적 특성에 맞게 조정한다.
• 시스템은 회로 인스턴스에서 학습한 후, 4x4 격자 아키텍처를 포함한 새로운 랜덤 및 현실 기반 벤치마크에서 평가된다.

실험 결과

연구 질문

• RQ1 딥 Q러닝 접근 방식이 양자 컴파일러에서 큐비트 라우팅 문제를 효과적으로 해결할 수 있는가? 기존 방법과 경쟁하거나 그 이상의 성능을 내는가?
• RQ2 제안된 DQN 기반 라우팅 시스템은 Qiskit 및 t|ket⟩과 같은 최신 컴파일러와 비교해 깊이 최소화 측면에서 어떻게 성능을 내는가?
• RQ3 강화학습 기반 시스템은 다양한 양자 아키텍처 구조와 회로 유형, 특히 현실적인 근접 벤치마크에 대해 일반화 가능한가?
• RQ4 제안된 방법은 새로운 또는 변화하는 양자 하드웨어 아키텍처에 적응하면서도 성능을 유지하는가?

주요 결과

• DQN 기반 라우팅 시스템은 랜덤 및 현실 기반 회로 벤치마크에서 Qiskit의 StochasticSwap 및 t|ket⟩을 모두 능가하며, 더 낮은 회로 깊이 오버헤드를 달성한다.
• 4x4 격자 현실 기반 벤치마크에서 시스템은 Qiskit의 StochasticSwap보다 CDR(Circuit Depth Ratio)가 뚜렷이 우수했으며, t|ket⟩과 유사한 성능을 보였다. 다만 런타임이 느렸다.
• 이 방법은 다양한 회로 유형과 아키텍처에 걸쳐 강력한 일반화 능력을 보이며, 정적 라우팅 히وري스틱을 초월한 적응 능력을 입증했다.
• 실제 테스트 세트에서 Qiskit의 StochasticSwap 대비 평균적으로 CDR에서 15% 향상을 달성했으며, 여러 회로 패밀리에 걸쳐 일관된 성과를 보였다.
• 런타임은 여전히 한계점으로, 4x4 격자에서 100개의 회로당 약 2400초가 소요되었지만, LookaheadSwap와 같은 고성능 방법과 유사하거나 더 낫다.
• 저자들은 신경망 정제, 더 나은 병렬 처리, 적응형 안내 기반 메커니즘 등의 최적화 경로를 제시하며, 성능을 유지하면서도 런타임을 단축시킬 수 있음을 밝혔다.