[논문 리뷰] Practical and efficient quantum circuit synthesis and transpiling with Reinforcement Learning

David Kremer, V. Villar외 4명|arXiv (Cornell University)|2024. 05. 21.

Quantum Computing Algorithms and Architecture인용 수 7

한 줄 요약

논문은 강화 학습(RL)을 활용해 양자 회로를 합성하고 라우팅하며 Clifford, Linear Function, Permutation 회로에 대해 거의 최적에 근접한 결과를 얻고 라우팅 오버헤드를 크게 줄였으며 SAT 해법보다 훨씬 빠른 성능을 달성한다.

ABSTRACT

This paper demonstrates the integration of Reinforcement Learning (RL) into quantum transpiling workflows, significantly enhancing the synthesis and routing of quantum circuits. By employing RL, we achieve near-optimal synthesis of Linear Function, Clifford, and Permutation circuits, up to 9, 11 and 65 qubits respectively, while being compatible with native device instruction sets and connectivity constraints, and orders of magnitude faster than optimization methods such as SAT solvers. We also achieve significant reductions in two-qubit gate depth and count for circuit routing up to 133 qubits with respect to other routing heuristics such as SABRE. We find the method to be efficient enough to be useful in practice in typical quantum transpiling pipelines. Our results set the stage for further AI-powered enhancements of quantum computing workflows.

연구 동기 및 목표

• 양자 컴퓨팅 워크플로에 AI 도구를 통합하여 트랜스파일링 및 회로 최적화를 향상시키는 것을 동기 부여합니다.
• 장치 연결성 제약하에서 Clifford, Linear Function, 및 Permutation 회로에 대해 거의 최적의 회로 합성을 제공하는 일반적인 RL 프레임워크를 개발합니다.
• 두-큐비트 게이트 깊이와 개수를 개선하면서 계산적으로 효율성을 유지하는 RL 주도 회로 라우팅을 시연합니다.
• 현실 세계의 트랜스파일링 파이프라인에서 RL 방법의 실용성을 제시하고 확장성과 기존 도구와의 통합에 대해 논의합니다.

제안 방법

• 회로 합성을 연속적 의사결정 프로세스로 프레이밍하고, 에이전트가 연산자를 항등으로 환원하기 위해 게이트를 선택합니다.
• 커리큘럼 학습을 사용해 점진적으로 더 어려운 대상 연산자를 다루도록 RL 에이전트를 훈련하고, 항등에 도달하면 보상, 게이트 수/깊이에 대한 페널티를 부여합니다.
• 추론 전략으로는 그리디, 샘플링, 상위-k/상위-p 게이트 선택을 에이전트의 출력 확률에 따라 사용합니다.
• Clifford 회로를 Clifford 표(행렬만, 위상은 무시)로 표현하고 연결성 제약하에 연산자 표현을 게이트 작용으로 매핑하도록 신경망을 훈련시킵니다.
• SWAP를 행동으로 취급하고 레이아웃 및 게이트 지표를 최적화하여 RL 프레임워크를 회로 라우팅으로 확장합니다.
• RL 기반 방법을 SAT 해법 및 휴리스틱 접근법과 비교하고 Clifford, Permutation, Linear Function 회로와 라우팅 작업에서 벤치마크합니다.

Figure 1: Diagram describing the RL-based circuit synthesis process.

실험 결과

연구 질문

• RQ1 네이티브 장치 제약 및 연결성 하에서 강화 학습이 Clifford, Linear Function, 및 Permutation 회로를 거의 최적에 합성할 수 있는가?
• RQ2 SABRE와 같은 기존 라우팅 휴리스틱과 비교했을 때 RL 기반 회로 라우팅의 두 큐비트 게이트 깊이와 개수 성능은 어떠한가?
• RQ3 런타임 및 확장성 측면에서 RL 접근법이 실제 양자 트랜스파일링 파이프라인에 통합되기에 실용적인가?
• RQ4 더 큰 큐비트 수와 회로 크기로 확장될 때 RL 합성 및 라우팅의 성능 및 확장성 한계는 무엇인가?
• RQ5 단일 RL 프레임워크가 서로 다른 회로 계통 및 연결 그래프에 걸쳐 일반화할 수 있는가, 아니면 토폴로지 특정 학습이 필요한가?

주요 결과

• 제약된 연결성에서 Clifford 회로에 대해 CNOT 수와 깊이를 거의 최적에 달성하는 RL 합성(예: H 연결성을 갖는 7-큐비트 Clifford 예시).
• Permutation 회로의 경우 8-L 토폴로지에서 100% 최적 SWAP 수 및 깊이를 달성하고 벤치마크의 65-HH/27-HH 변형에서도 마찬가지로 SAT 해법보다 현저히 빠른 런타임을 보였습니다.
• Linear Function 회로의 경우 9 큐비트까지 거의 최적에 가깝고; Clifford는 11 큐비트까지; Permutation은 65 큐비트까지, 라우팅 시연은 최대 133 큐비트까지 보였습니다.
• RL 라우팅은 BIP 기반 라우팅보다 CNOT 깊이를 약 20% 절감하고 선형 연결로 라우팅된 8–10 큐비트 양자 볼륨 회로에서 CNOT 수를 유지하거나 약간 개선합니다; 8-회 RL 라우팅은 표준 트랜스파일러보다 깊이 및 게이트 수에서 더 나은 성능을 보일 수 있습니다.
• 일반 RL 라우팅은 IBM Torino 토폴로지로 라우팅된 133-큐비트 회로에서 CNOT 깊이를 약 40% 더 감소시키고 이웃 두 큐비트 게이트 수를 약 10% 감소시키며 Qiskit SDK 레벨-3 트랜스파일러와 비교합니다.
• 이 방법은 SAT 기반 최적화보다 수 많은 순서로 빠르게 실행되며(예: 초 단위 대 시간), 휴리스틱에 비해 상당한 품질 이점을 제공하고 AI 기반 트랜스파일링 워크플로우에 실용적으로 배치하기에 적합합니다.

Figure 2: Training progress for Clifford synthesis on 7 qubits with “H” connectivity. The horizontal axis shows the progress of the training in terms of total number of steps taken (number of Cliffords “seen” by the model). The vertical axes on the different graphs represent how different quantities