[논문 리뷰] Quantum Policy Iteration via Amplitude Estimation and Grover Search -- Towards Quantum Advantage for Reinforcement Learning

Simon Wiedemann, Daniel Hein외 2명|arXiv (Cornell University)|2022. 06. 09.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

이 논문은 정책 평가에서 고전적 몬테카를로 방법에 비해 표본 복잡도를 제곱근 수준으로 향상시키기 위해 진폭 추정과 그로버 검색을 조합한 양자 강화 학습 알고리즘을 제안한다. 유니터리 기반의 유 end 유한 마르코프 결정 과정을 구성함으로써, 최적 정책을 찾는 데 필요한 에이전트-환경 상호작용 수를 증명 가능하게 감소시키는 양자 정책 반복을 가능하게 한다.

ABSTRACT

We present a full implementation and simulation of a novel quantum reinforcement learning method. Our work is a detailed and formal proof of concept for how quantum algorithms can be used to solve reinforcement learning problems and shows that, given access to error-free, efficient quantum realizations of the agent and environment, quantum methods can yield provable improvements over classical Monte-Carlo based methods in terms of sample complexity. Our approach shows in detail how to combine amplitude estimation and Grover search into a policy evaluation and improvement scheme. We first develop quantum policy evaluation (QPE) which is quadratically more efficient compared to an analogous classical Monte Carlo estimation and is based on a quantum mechanical realization of a finite Markov decision process (MDP). Building on QPE, we derive a quantum policy iteration that repeatedly improves an initial policy using Grover search until the optimum is reached. Finally, we present an implementation of our algorithm for a two-armed bandit MDP which we then simulate.

연구 동기 및 목표

• 양자 알고리즘을 통해 표본 복잡도를 감소시켜 강화 학습에서 증명 가능한 양자 우월성을 입증하기 위해.
• 고전적 서브루틴을 양자 프리미티브로 대체하는 완전한 양자 정책 반복 프레임워크를 개발하기 위해.
• 상태, 행동, 보상에 대한 유니터리 연산자를 사용하여 유한 MDP의 양자 역학적 실현을 체계화하기 위해.
• 진폭 추정을 사용한 양자 정책 평가(QPE)가 고전적 몬테카를로 추정에 비해 제곱근 속도 향상을 달성함을 보여주기 위해.
• 두 개의 팔을 가진 벤딩 문제 MDP에서의 시뮬레이션을 통해 양자 정책 반복의 수렴성과 효율성을 검증하기 위해.

제안 방법

• 에이전트-환경 상호작용을 큐비트 상태에 대한 양자 연산으로 인코딩한, 유한 MDP의 유니터리 표현을 구성하기 위해.
• 표본 수를 고전적 몬테카를로 방법보다 제곱근 수준으로 줄일 수 있도록, 진폭 추정을 사용해 정책의 가치 함수를 추정하는 양자 정책 평가(QPE)를 구현하기 위해.
• 그로버 검색을 사용해 점진적으로 더 나은 정책을 찾는 정책 향상 루프에 QPE를 통합함으로써, 양자 근사 정책 반복 기법을 구성하기 위해.
• 디지털 양자 컴퓨터에서 정책 평가 및 향상 단계를 실현하기 위해 단일 및 다중 큐비트 게이트를 사용해 명시적인 양자 회로를 설계하기 위해.
• 제어된 상태 준비를 통해 초위상에서 누적 보상을 추정하고, 양자 위상 추정 기법을 활용하기 위해.
• 정책 공간에서 ǫ-최적 정책을 찾기 위해 그로버 유사 증폭을 적용하며, 정책 수 N에 대해 반복 수가 O(√N)로 증가한다.

실험 결과

연구 질문

• RQ1 강화 학습에서 고전적 몬테카를로 정책 평가에 비해 양자 진폭 추정이 증명 가능한 표본 복잡도 우월성을 제공할 수 있는가?
• RQ2 그로버 검색은 양자 정책 반복 프레임워크에 어떻게 통합되어 고전적 방법보다 더 효율적으로 정책을 향상시킬 수 있는가?
• RQ3 소규모 정책 공간을 가진 유한 MDP에 적용했을 때, 양자 정책 반복의 경험적 수렴 행동은 어떠한가?
• RQ4 이론적으로 예측한 바와 같이, 정책 수 N에 대해 양자 정책 반복의 런타임이 O(√N)로 스케일링되는가?
• RQ5 양자 표본 준비 비용을 고려할 때, QPE에서의 양자 우월성이 어떤 조건에서 유지되는가?

주요 결과

• 양자 정책 평가(QPE)는 고전적 몬테카를로 정책 평가에 비해 제곱근 속도 향상을 달성하여, 주어진 정밀도 내에서 가치 함수를 추정하기 위해 필요한 양자 표본 수를 제곱근 수준으로 줄였다.
• 두 개의 팔을 가진 벤딩 문제 MDP에서의 시뮬레이션 결과, QPE의 이론적 양자 우월성이 확인되었으며, QPE는 고전적 MC 방법보다 더 빠르게 수렴하고 더 적은 상호작용 수를 요구했다.
• 양자 정책 반복은 유한한 반복 수 내에서 최적 정책으로 수렴하며, 최적 정책이 발견된 후 최종 성공 확률은 1에 도달한다.
• 정책 향상에 필요한 그로버 로테이션의 평균 수는 √N에 대해 선형적으로 증가하여, 정책 수 N에 대해 예측된 O(√N) 복잡도를 확인했다.
• 모든 시뮬레이션 런의 99% 이상에서 ǫ-최적 정책이 성공적으로 발견되었으며, 노이즈와 상태 준비 과제에도 불구하고 양자 정책 반복 절차의 높은 신뢰성을 보여주었다.
• 양자 정책 반복의 런타임 분포는 대칭적이며, 큰 사분위간격을 보이며, 초기 반복에서 근사 최적 정책을 랜덤 샘플링하는 데 기인한 확률적 수렴을 반영한다.