[논문 리뷰] Quantum Algorithms for Reinforcement Learning with a Generative Model

Daochen Wang, Aarthi Sundaram외 3명|arXiv (Cornell University)|2021. 12. 15.

Quantum Computing Algorithms and Architecture참고 문헌 23인용 수 13

한 줄 요약

이 논문은 마르코프 결정 과정(MDPs)에서 양자 생성 모델을 사용하여 강화 학습을 위한 양자 알고리즘을 제안하며, 유효한 시간 범위(1/(1−γ))와 행동 공간 크기(A), 근사 오차(ϵ)에서 고전적 방법에 비해 제곱근 속도 향상을 달성한다. 알고리즘은 최적의 정책, 가치 함수, Q-함수를 개선된 샘플 복잡도로 계산하며, Q-함수 알고리즘의 최적성을 양자 하한과의 일치를 통해 증명한다.

ABSTRACT

Reinforcement learning studies how an agent should interact with an environment to maximize its cumulative reward. A standard way to study this question abstractly is to ask how many samples an agent needs from the environment to learn an optimal policy for a $γ$-discounted Markov decision process (MDP). For such an MDP, we design quantum algorithms that approximate an optimal policy ($π^*$), the optimal value function ($v^*$), and the optimal $Q$-function ($q^*$), assuming the algorithms can access samples from the environment in quantum superposition. This assumption is justified whenever there exists a simulator for the environment; for example, if the environment is a video game or some other program. Our quantum algorithms, inspired by value iteration, achieve quadratic speedups over the best-possible classical sample complexities in the approximation accuracy ($ε$) and two main parameters of the MDP: the effective time horizon ($\frac{1}{1-γ}$) and the size of the action space ($A$). Moreover, we show that our quantum algorithm for computing $q^*$ is optimal by proving a matching quantum lower bound.

연구 동기 및 목표

• 할인 마르코프 결정 과정(MDPs)에서 최적의 정책, 가치 함수, Q-함수를 효율적으로 근사하는 양자 알고리즘을 설계하는 것.
• 환경의 생성 모델에 대한 양자 액세스를 활용하여 고전적 방법에 비해 개선된 샘플 복잡도를 달성하는 것.
• 최적의 Q-함수를 계산하는 양자 알고리즘이 샘플 복잡도 측면에서 최적임을 증명하기 위해 일치하는 양자 하한을 확립하는 것.
• 특히 ϵ, Γ = 1/(1−γ), A에 관해 표준 가정 하에 강화 학습에서의 양자 속도 향상의 한계를 탐색하는 것.
• 모델 기반 알고리즘과 더 넓은 MDP 클래스로의 양자 속도 향상 확장을 위한 열린 문제를 규명하는 것.

제안 방법

• 양자 생성 모델은 양자 중첩을 통해 상태 전이 확률에 액세스할 수 있게 하여 환경의 동역학에 일관된 액세스를 가능하게 한다.
• 핵심 접근법은 양자 환경에 맞게 조정된 값 반복 기법으로, 수렴을 가속화하기 위해 진폭 강화와 진폭 추정을 사용한다.
• 양자 회로는 고전적 시뮬레이터 회로를 반전 가능하게 하고 헤르미트 변환 및 양자 게이트를 사용해 양자화함으로써 체계적으로 구성된다.
• 양자 생성 모델은 다음 상태에 대한 초월 상태의 초월도를 전이 확률에 비례하게 하는 유니터리 연산으로 수식화된다.
• 알고리즘은 정밀도 ϵ으로 가치 함수와 Q-함수를 추정하기 위해 양자 진폭 추정을 사용하며, ϵ 및 기타 핵심 매개변수에서 제곱근 속도 향상을 달성한다.
• 이 구조는 고전적 시뮬레이터가 존재하는 경우(예: 비디오 게임 또는 프로그래밍 가능한 환경) 언제나 양자 액세스 모델이 실현 가능하다는 것을 보장한다.

실험 결과

연구 질문

• RQ1 생성 모델이 있는 MDP에서 최적의 Q-함수를 근사하는 데 있어 양자 알고리즘이 샘플 복잡도에서 제곱근 속도 향상을 달성할 수 있는가?
• RQ2 최적의 Q-함수를 계산하는 양자 알고리즘이 샘플 복잡도 측면에서 최적인지 확인할 수 있으며, 이 최적성은 양자 하한을 통해 증명될 수 있는가?
• RQ3 유사한 양자 속도 향상은 최적의 가치 함수와 정책을 근사하는 데에도 달성될 수 있으며, Γ = 1/(1−γ), A, ϵ에 따라 어떻게 스케일링되는가?
• RQ4 상태 공간 크기 S가 클 경우 강화 학습에서의 양자 속도 향상의 한계는 무엇이며, S가 왜 양자 경계에서 향상되지 않는가?
• RQ5 양자 알고리즘은 모델 기반 접근법이나 기능 근사 설정으로 확장될 수 있으며, 특수한 MDP 클래스에서는 더 큰 속도 향상의 잠재력은 무엇인가?

주요 결과

• 최적의 Q-함수를 계산하는 양자 알고리즘은 O(SAΓ^1.5 / ϵ)의 샘플 복잡도를 달성하며, 고전적 최고의 경계인 O(SAΓ^3 / ϵ^2)에 비해 제곱근으로 더 우수하다.
• 일치하는 양자 하한 Ω(SAΓ^1.5 / ϵ)이 증명되어, Q-함수를 위한 양자 알고리즘이 로그 인자 수준을 제외하고 최적임을 입증한다.
• 최적의 가치 함수 v∗ 및 정책 π∗에 대해, 양자 알고리즘은 O(SAΓ^1.5 / ϵ)의 샘플 복잡도를 달성하며, 이는 Q-함수의 상한과 일치하며 고전적 방법에 비해 제곱근 속도 향상을 제공한다.
• π∗를 위한 양자 알고리즘은 O(S√A Γ^1.5 / ϵ)의 샘플 복잡도를 달성하며, A가 일정하거나 특정 매개변수 영역일 경우 최적이 된다.
• 결과는 ϵ, Γ, A에 대해 양자 속도 향상이 가능하지만, S에 대해서는 불가능하며 이는 상태 공간 크기가 여전히 근본적인 병목임을 시사한다.
• 논문은 열린 문제를 규명하며, 모든 매개변수에서 최적의 양자 알고리즘을 달성하고, 결과를 모델 기반 양자 알고리즘 또는 기능 근사 설정으로 확장하는 것을 포함한다.