[논문 리뷰] Free energy-based reinforcement learning using a quantum processor

Anna Levit, Daniel Crawford외 4명|arXiv (Cornell University)|2017. 05. 29.

Quantum Computing Algorithms and Architecture참고 문헌 1인용 수 17

한 줄 요약

이 논문은 D-Wave 2000Q 양자 앤날러를 사용하여 횡방향 자기장 이징 모델에서 샘플링을 수행함으로써 양자 버울츠만 기계(QBM)의 자유 에너지를 효율적으로 근사화할 수 있는 자유 에너지 기반 강화학습(FERL) 프레임워크를 제안한다. 이 방법은 복제 스택 기법을 사용하여 양자 측정 결과를 효과적인 고전적 구성으로 매핑하며, 격자 세계 태스크에서 고전적 FERL 및 DQN 기준선에 비해 초기 학습 성능에서 뛰어난 성능을 보인다.

ABSTRACT

Recent theoretical and experimental results suggest the possibility of using current and near-future quantum hardware in challenging sampling tasks. In this paper, we introduce free energy-based reinforcement learning (FERL) as an application of quantum hardware. We propose a method for processing a quantum annealer's measured qubit spin configurations in approximating the free energy of a quantum Boltzmann machine (QBM). We then apply this method to perform reinforcement learning on the grid-world problem using the D-Wave 2000Q quantum annealer. The experimental results show that our technique is a promising method for harnessing the power of quantum sampling in reinforcement learning tasks.

연구 동기 및 목표

• 현재의 양자 하드웨어—특히 D-Wave 20000Q 양자 앤날러—를 강화학습 작업에 효과적으로 활용할 수 있는지 탐구하는 것.
• 측정된 큐비트 스핀 구성으로부터 QBM의 자유 에너지를 근사화하여 양자 샘플링을 강화학습에 활용하는 데 도전하는 것.
• 양자 앤날러 출력을 효과적인 고전적 이징 모델에서의 샘플로 간주함으로써 기존의 자유 에너지 기반 학습 프레임워크에 통합할 수 있는 방법을 개발하는 것.
• 양자 강화된 FERL의 성능을 고전적 기준선(특히 초기 학습 효율성 측면에서)과 비교 평가하는 것.
• 적절히 효과적인 고전적 구성으로 매핑될 경우, 양자 샘플링이 강화학습에서 고전적 샘플링을 능가할 수 있다는 가설을 검증하는 것.

제안 방법

• 양자 앤날링 과정을 고차원 고전적 이징 모델으로 매핑하기 위해 Suzuki–Trotter 분해를 사용하여, 양자 측정 결과를 복제로 해석할 수 있도록 한다.
• D-Wave 20000Q의 다중 측정 결과로부터 효과적인 고전적 구성(configuration)을 생성하기 위해 복제 스택 기법을 적용하며, 양자 장치를 QBM의 샘플링 오라클로 간주한다.
• 양자 샘플에서 유도된 효과적인 고전적 이징 모델의 에너지를 기반으로 자유 에너지 기반 Q함수 근사를 수행한다.
• 딥 버울츠만 기계(DBM) 또는 제한된 버울츠만 기계(RBM)를 사용하여 Q함수를 매개변수화하며, 자유 에너지 근사를 기반으로 한 시간차분(TD) 업데이트에 의해 학습을 이끈다.
• 성능 비교를 위해 시뮬레이션 앤날링(SA)과 양자 앤날링(SQA)을 기준선으로 사용하며, 모든 방법에 동일한 가상 매개변수(β = 2.0, Γ = 0.5)를 적용한다.
• 측정된 스핀 구성이 증가된 차원을 가진 효과적인 이징 모델에서의 샘플로 간주되도록 D-Wave 20000Q의 출력을 고전적 버울츠만 분포로 매핑한다.

실험 결과

연구 질문

• RQ1 현재 세대의 양자 앤날러가 강화학습을 위한 양자 버울츠만 기계에서 샘플링하는 데 효과적으로 사용될 수 있는가?
• RQ2 측정된 양자 샘플에서 유도된 자유 에너지 근사가 초기 단계의 강화학습에서 고전적 샘플링 방법보다 우수한가?
• RQ3 D-Wave 20000Q의 측정 결과가 어느 정도 정도 고전적 이징 모델의 버울츠만 분포를 근사하는가?
• RQ4 격자 세계 주행 작업에서 양자 앤날러를 사용한 FERL의 성능은 RBM 기반 고전적 FERL 및 DQN과 비교해 어떻게 되는가?
• RQ5 신경망 아키텍처의 선택(예: DBM 대 치미라 그래프)이 양자 강화된 FERL의 성능에 상당한 영향을 미치는가?

주요 결과

• D-Wave 20000Q를 사용한 FERL은 RBM 기반 고전적 FERL 및 DQN보다 초기 학습 단계에서 빠른 수렴 속도를 보이며 최적 정책에 빠르게 도달한다.
• 치미라 그래프에서 SQA 기반 FERL의 성능은 실제 D-Wave 20000Q 샘플을 사용한 FERL과 유사하게 나타나, 양자 장치가 샘플링 오라클로서의 정밀도를 잘 유지하고 있음을 검증한다.
• DBM를 사용한 SQA 기반 FERL는 D-Wave 20000Q 및 치미라 그래프에서 SQA를 모두 약간 뛰어넘는 성능을 보이며, 네트워크 연결성과 아키텍처가 성능에 상당한 영향을 미친다는 것을 시사한다.
• 복제 스택 기법을 통해 양자 측정 결과를 효과적인 고전적 구성으로 성공적으로 매핑하여, 양자 앤날러를 QBM 샘플링 장치로 간주할 수 있도록 했다.
• 가상 매개변수 Γ = 0.5 및 β = 2.0는 최적의 앤날링 스케줄링에 해당하며, Γ = 0.5는 이전 이론적 연구에서 지적한 앤날링 시간의 2/3 지점과 일치한다.
• D-Wave 20000Q에서 유도된 양자 샘플은 사용된 문제 크기와 모델 아키텍처에 비추어 복잡한 고전적 버울츠만 분포 샘플의 효과적인 근사로 기능하는 것으로 확인되었다.