[논문 리뷰] Quantum Machine Learning Architecture Search via Deep Reinforcement Learning

Xin Dai, Tzu-Chieh Wei외 2명|arXiv (Cornell University)|2024. 07. 29.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

이 논문은 지도 학습 작업을 위한 최적의 변량 양자 회로(VQC) 아키텍처를 자동으로 탐색하기 위해 딥 강화학습 프레임워크인 RL-QMLAS를 제안한다. 적응형 학습 목표 기반 메커니즘을 통해 사전 물리적 지식 없이도 높은 정확도이면서 얕은 깊이의 양자 회로를 발견하며, 파rameter 수가 훨씬 적은데도 불구하고 전통적인 모델과 유사한 성능을 달성한다.

ABSTRACT

The rapid advancement of quantum computing (QC) and machine learning (ML) has given rise to the burgeoning field of quantum machine learning (QML), aiming to capitalize on the strengths of quantum computing to propel ML forward. Despite its promise, crafting effective QML models necessitates profound expertise to strike a delicate balance between model intricacy and feasibility on Noisy Intermediate-Scale Quantum (NISQ) devices. While complex models offer robust representation capabilities, their extensive circuit depth may impede seamless execution on extant noisy quantum platforms. In this paper, we address this quandary of QML model design by employing deep reinforcement learning to explore proficient QML model architectures tailored for designated supervised learning tasks. Specifically, our methodology involves training an RL agent to devise policies that facilitate the discovery of QML models without predetermined ansatz. Furthermore, we integrate an adaptive mechanism to dynamically adjust the learning objectives, fostering continuous improvement in the agent's learning process. Through extensive numerical simulations, we illustrate the efficacy of our approach within the realm of classification tasks. Our proposed method successfully identifies VQC architectures capable of achieving high classification accuracy while minimizing gate depth. This pioneering approach not only advances the study of AI-driven quantum circuit design but also holds significant promise for enhancing performance in the NISQ era.

연구 동기 및 목표

• 노이즈가 많은 중규모 양자(NISQ) 장치에서 효과적인 양자 기계학습(QML) 모델을 설계하는 데 도전하는 데, 전문 지식이 필요하며 모델 복잡도와 하드웨어 구현 가능성 사이의 균형을 맞추는 데 초점을 맞춘다.
• 수동으로 설계된 앤사즈에 의존하지 않고, 지도 학습 작업을 위한 변량 양자 회로(VQC) 아키텍처의 자동 설계를 실현한다.
• 학습 중에 동적으로 학습 목표를 조정하여 양자 아키텍처 탐색의 효율성과 확장성을 향상시킨다.
• 강화학습 기반 탐색이 현재 노이즈가 있는 양자 하드웨어에 적합한 높은 정확도이면서 얕은 회로를 갖춘 VQC를 도출할 수 있음을 보여준다.
• 클래식 모델에 비해 양자 분류기의 파rameter화 부담을 줄여 실용성을 높인다.

제안 방법

• 프레임워크는 지도 학습 작업을 위한 분류용 VQC 아키텍처를 구성하는 양자 게이트 시퀀스를 탐색하고 생성하기 위해 딥 강화학습(RL) 에이전트를 활용한다.
• RL 에이전트는 분류 정확도에 기반한 보상 신호를 사용하여 훈련되며, 학습 진전을 유지하기 위해 동적으로 증가하는 정확도 기준을 갖춘 적응형 학습 목표를 적용한다.
• 아키텍처 탐색은 게이트 유형(단일 큐비트 회전 및 얽힘 CNOT 게이트)과 큐비트 연결성으로 정의된 이산 행동 공간에서 수행된다.
• 에이전트의 정책 네트워크는 연속적 및 이산적 제어 작업에 적합한 안정적인 딥 강화학습 알고리즘인 프록시 정책 최적화(PPO)를 통해 훈련된다.
• 사전 정의된 앤사즈 구조를 피함으로써 새로운, 작업에 특화된 회로 설계를 발견할 수 있다.
• 조기 수렴을 방지하고 높은 성능의 아키텍처 탐색을 향상시키기 위해 동적 보상 조정 메커니즘이 통합되어 있다.

실험 결과

연구 질문

• RQ1 딥 강화학습이 사전 물리적 지식 없이도 높은 성능의 VQC 아키텍처를 효과적으로 탐색할 수 있는가?
• RQ2 적응형 학습 목표 기반 메커니즘이 강화학습 기반의 양자 아키텍처 탐색에서 수렴성과 성능을 어떻게 향상시키는가?
• RQ3 RL-QMLAS가 얼마나 낮은 파rameter 수를 갖춘 얕은 회로 VQC를 생성할 수 있으며, 이는 클래식 기계학습 모델의 정확도를 충족하거나 초월할 수 있는가?
• RQ4 다양한 복잡도를 갖는 데이터셋, 예를 들어 make_classification과 make_moons와 같은 데이터셋 간에서 이 프레임워크는 얼마나 일반화되는가?
• RQ5 노이즈와 하드웨어 제약 조건이 실제 NISQ 장치에서 RL로 발견된 회로의 구현 가능성에 어떤 영향을 미치는가?

주요 결과

• RL-QMLAS 프레임워크는 4차원 make_classification 데이터셋에서 90.3%의 분류 정확도를 달성하여 로지스틱 회귀 및 SVM 모델과 동일한 성능을 보였다.
• 2차원 make_moons 데이터셋에서는 단지 2개의 양자 게이트로만 100%의 정확도를 달성했으며, 이는 44개의 서포트 벡터를 사용한 SVM의 성능과 유사했다.
• 양자 분류기는 로지스틱 회귀의 5개 파rameter와 SVM의 110개의 서포트 벡터에 비해 단지 2개의 게이트로만 구성되어 있어 강력한 파rameter 효율성을 보였다.
• 적응형 학습 목표 기반 메커니즘이 훈련의 안정성을 향상시키며, 높은 초기 정확도 기준에 의존하지 않고도 더 높은 정확도를 달성할 수 있도록 했다.
• 프레임워크는 최소한의 게이트 깊이를 갖춘 얕은 회로를 생성하여 현재의 노이즈가 있는 양자 하드웨어에서 실행 가능한 아키텍처를 제공했다.
• 수치 시뮬레이션을 통해 RL 에이전트가 사전 앤사즈 설계 없이도 효과적이고 작업에 특화된 VQC 아키텍처를 발견할 수 있었으며, 전문가의 간섭이 줄어들었다.