[논문 리뷰] Using Reinforcement Learning to find Efficient Qubit Routing Policies for Deployment in Near-term Quantum Computers

Steven Herbert, Akash Sengupta|arXiv (Cornell University)|2018. 12. 30.

Quantum Computing Algorithms and Architecture인용 수 14

한 줄 요약

이 논문은 근접한 양자 컴퓨터에서 제한된 연결성 아키텍처에서 두 큐비트 상호작용을 가능하게 하기 위해 스위프 게이트를 사용하는 최적의 큐비트 라우팅 정책을 발견하기 위해 조합적 행동 공간을 가진 강화학습(RL) 프레임워크를 제안한다. 이 방법은 깊이 오버헤드를 최소화하여 정렬 네트워크보다 뛰어난 성능을 보이며, 수치 결과로는 양자 회로의 효율성이 향상됨을 보여준다.

ABSTRACT

This paper addresses the problem of qubit routing in first-generation and other near-term quantum computers. In particular, it is asserted that the qubit routing problem can be formulated as a reinforcement learning (RL) problem, and that this is sufficient, in principle, to discover the optimal qubit routing policy for any given quantum computer architecture. In order to achieve this, it is necessary to alter the conventional RL framework to allow combinatorial action space, and this represents a second contribution of this paper, which is expected to find additional application, beyond the qubit routing problem addressed herein. Numerical results are included demonstrating the advantage of the RL-trained qubit routing policy over using a sorting network.

연구 동기 및 목표

• 제한된 큐비트 연결성으로 인해 필수 스위프 연산으로 인해 회로 깊이가 증가하는 근접한 양자 컴퓨터에서 큐비트 라우팅 문제를 해결하기 위해.
• 큐비트 라우팅 문제를 강화학습(RL) 문제로 재정의하여 효율적인 라우팅 정책의 자동 탐색을 가능하게 하기 위해.
• 기존의 RL 프레임워크를 확장하여 특히 동시에 여러 겹치지 않는 스위프 게이트를 선택하는 조합적 행동 공간을 처리할 수 있도록 하여 최적의 라우팅 결정을 가능하게 하기 위해.
• 제안된 RL 프레임워크가 원칙적으로 어떤 최적의 라우팅 정책이라도 발견할 수 있음을 입증하여 다양한 양자 아키텍처에 일반적인 솔루션임을 보여주기 위해.
• RL로 훈련된 에이전트를 사용해 보다 빠른 추론 모델을 위한 지도 학습 미세조정 데이터를 생성하고, 직접 상태에서 행동으로의 매핑을 가능하게 하기 위해.

제안 방법

• RL 에이전트는 현재 큐비트 레이아웃과 현재 양자 회로 레이어로 정의된 상태 공간에서 작동하며, 행동 공간은 상호작용 그래프 상에서 유효하고 겹치지 않는 스위프 게이트 조합 전체로 구성된다.
• 상태 표현을 향후 양자 회로의 일부(예: 다음 몇 레이어)를 포함시켜 확장함으로써, 에이전트가 즉각적인 보상 외에도 장기적인 상호작용 패턴을 고려한 결정을 내릴 수 있도록 한다.
• 딥 Q넷(DQN)을 사용하여 Q-값 함수를 근사하며, 학습을 안정화시키기 위해 경험 재생과 타겟 네트워크를 사용한다.
• 보상 함수는 깊이 증가를 방지하도록 설계되어 깊이 오버헤드를 최소화하도록 유도하며, 장기적 보상은 향후 상호작용에 의해 형성된다.
• 행동 선택 과정은 겹치지 않는 간선에서 동시에 스위프를 수행하는 조합적 행동을 처리하기 위해 행동 공간을 개별 스위프가 아닌 유효한 스위프 구성 집합으로 간주한다.
• 프레임워크는 벤치마크 양자 회로에서 평가되어, 정렬 네트워크 기반 라우팅과 비교하여 깊이 오버헤드와 양자 볼륨을 분석한다.

실험 결과

연구 질문

• RQ1 조합적 행동 공간을 가진 강화학습이 제한된 연결성을 가진 근접한 양자 컴퓨터에서 낮은 깊이의 큐비트 라우팅 정책을 효과적으로 발견할 수 있는가?
• RQ2 상태 표현에 향후 회로 정보를 통합할 경우, 즉각적인 보상 기반의 반응적 방법과 비교해 라우팅 결정의 품질에 어떤 영향을 미치는가?
• RQ3 제안된 RL 프레임워크가 깊이 오버헤드 측면에서 기존의 라우팅 히وري스틱(예: 정렬 네트워크)을 얼마나 잘 초월할 수 있는가?
• RQ4 이 RL 프레임워크는 다양한 양자 컴퓨터 아키텍처로 일반화 가능한가, 아니면 특정 상호작용 그래프 구조에 국한되는가?
• RQ5 RL로 훈련된 에이전트를 사용해 지도 학습 미세조정을 위한 레이블 데이터를 생성할 수 있으며, 이를 통해 직접 상태-조합 행동 매핑을 통한 더 빠른 추론을 가능하게 할 수 있는가?

주요 결과

• RL 기반 라우팅 정책은 정렬 네트워크 기반 라우팅에 비해 회로 깊이 오버헤드를 크게 줄여주며, 양자 회로 실행의 효율성이 향상됨을 보여준다.
• 상태 벡터에 잘라낸 향후 회로를 포함시킴으로써 에이전트가 현재 레이어 상호작용 외에도 장기적인 상호작용 패턴을 고려한 결정을 내릴 수 있게 되었으며, 이는 단지 현재 레이어 상호작용에 의존하는 방법보다 더 나은 라우팅 선택을 이끌어낸다.
• 제안된 조합적 행동 공간을 가진 RL 프레임워크는 원칙적으로 최적의 라우팅 정책을 발견할 수 있으며, 큐비트 라우팅 문제의 행동 공간과 제약 조건을 완전히 반영하기 때문이다.
• 수치 결과는 RL로 훈련된 정책가 기준선 방법보다 낮은 깊이 오버헤드를 달성함을 확인하며, 이는 직접적으로 높은 양자 볼륨과 더 긴 유효 계산 시간으로 이어진다.
• 프레임워크는 RL 훈련에서 유도된 레이블 데이터(상태-행동 쌍) 생성이 가능하며, 이를 통해 별도의 지도 학습 모델을 훈련시켜 더 빠른 추론을 가능하게 하며, 실시간 배포로 향하는 길을 제시한다.
• 이 방법은 정의된 상호작용 그래프를 가진 모든 양자 아키텍처에 일반적으로 적용 가능하므로, 다양한 근접한 양자 하드웨어 플랫폼에 대해 확장 가능한 솔루션이다.