[논문 리뷰] Quantum Policy Gradient Algorithms

Sofiène Jerbi, Arjan Cornelissen외 2명|arXiv (Cornell University)|2022. 12. 19.

Quantum Computing Algorithms and Architecture인용 수 7

한 줄 요약

이 논문은 양자 액세스를 갖춘 강화학습 환경에서 파arametrized 양자 정책을 훈련할 때 샘플 복잡도에서 최대 제곱근 속도 향상을 달성하는 양자 정책 그래เดียน트 알고리즘을 제시한다. 궤도에 대한 양자 오라클 액세스를 활용하고, 양자 다변량 몽테카를로 및 수치 그래디언트 추정을 적용함으로써, 정책이 부드러움 조건을 만족할 경우 전체적인 제곱근 속도 향상을 제공한다 — 이 조건은 raw-PQC 및 softmax1-PQC 정책과 같은 일반적인 파라미터화된 양자 회로에서 충족된다.

ABSTRACT

Understanding the power and limitations of quantum access to data in machine learning tasks is primordial to assess the potential of quantum computing in artificial intelligence. Previous works have already shown that speed-ups in learning are possible when given quantum access to reinforcement learning environments. Yet, the applicability of quantum algorithms in this setting remains very limited, notably in environments with large state and action spaces. In this work, we design quantum algorithms to train state-of-the-art reinforcement learning policies by exploiting quantum interactions with an environment. However, these algorithms only offer full quadratic speed-ups in sample complexity over their classical analogs when the trained policies satisfy some regularity conditions. Interestingly, we find that reinforcement learning policies derived from parametrized quantum circuits are well-behaved with respect to these conditions, which showcases the benefit of a fully-quantum reinforcement learning framework.

연구 동기 및 목표

• 양자 액세스가 가능한 환경에서 강화학습의 정책 그래디언트 훈련을 가속화하는 양자 알고리즘을 설계하는 것.
• 양자 알고리즘이 샘플 복잡도에서 고전적 방법에 비해 전체적인 제곱근 속도 향상을 달성할 수 있는 조건을 규명하는 것.
• 파라미터화된 양자 회로(PQCs)가 이러한 부드러움 조건을 자연스럽게 만족함을 보여주어 효율적인 양자 훈련을 가능하게 하는 것.
• 정책 그래디언트 방법에서 수치적 및 해석적 그래디언트 추정에 대한 양자 속도 향상을 제공하는 것.
• 실제 MDP 가정 하에 양자 및 고전적 정책 그래디언트 추정기의 이론적 쿼리 복잡도 경계를 설정하는 것.

제안 방법

• 마르코프 결정 과정(MDPs)에 대한 오라클 양자 액세스를 사용하여, 유니터리 UP 및 UR을 통해 궤도의 초위상 중첩을 가능하게 한다.
• 양자 하위루틴 [25, 26]을 사용한 양자 수치 그래디언트 추정을 적용하며, 제곱근 속도 향상을 위해 유한한 도함수 부드러움 조건(D ≤ 1)이 필요하다.
• 해석적 그래디언트 추정을 위해 [27, 28]의 양자 다변량 몽테카를로 추정을 활용하며, 로그-정책 그래디언트의 ℓp-노름이 유한해야 한다(Bp).
• 정책 및 보상 오라클의 유니터리 구현을 통해 그래디언트 추정기의 양자 액세스를 구성하고, 정밀도 향상을 위해 진폭 추정을 적용한다.
• 정책 파라미터 d, 환경 기간 T, 할인 인자 γ, 최대 수익 |R|max, 그리고 부드러움 파라미터 D 또는 Bp에 따라 쿼리 복잡도 경계를 유도한다.
• 수치적 및 해석적 그래디언트 추정을 모두 분석하여, 양자 버전이 고전적 방법 대비 각각 eO(√d) 및 eO(d^{ξ(p)}) 스케일링을 달성함을 보여준다. 고전적 방법은 각각 eO(d) 및 eO(Bp^2) 스케일링을 보인다.

실험 결과

연구 질문

• RQ1 양자 알고리즘이 정책 그래디언트 강화학습에서 샘플 복잡도에서 제곱근 속도 향상을 달성할 수 있는 조건은 무엇인가?
• RQ2 파라미터화된 양자 회로(PQCs)가 양자 속도 향상을 위한 필수 부드러움 조건을 만족함을 보일 수 있는가?
• RQ3 양자 및 고전적 쿼리 복잡도는 정책 차원 d, 기간 T, 수익 크기 |R|max 등의 핵심 파라미터에 대해 어떻게 스케일링되는가?
• RQ4 환경에 대한 양자 액세스가 다수의 궤도에 대한 초위상 중첩을 가능하게 하여, 수치적 및 해석적 설정 모두에서 그래디언트 추정을 가속화할 수 있는가?
• RQ5 할인 인자 γ와 기간 T는 양자 정책 그래디언트 알고리즘의 성능에 어떤 역할을 하는가?

주요 결과

• 수치 그래디언트 추정에서, 값 함수의 도함수 부드러움 조건이 유한한 경우(D ≤ 1)에 양자 방법이 고전적 방법 대비 전체적인 제곱근 속도 향상을 달성한다. 이 조건은 raw-PQC 정책에서 충족된다.
• 해석적 그래디언트 추정에서, p ∈ [1, 2] 범위에서 로그-정책 그래디언트의 ℓp-노름이 유한한 경우(Bp ≤ 2)에 양자 방법이 전체적인 제곱근 속도 향상을 달성한다. 이 조건은 softmax1-PQC 정책에서 충족된다.
• 수치 그래디언트 추정의 양자 쿼리 복잡도는 eO(√d DT³|R|max / (ε(1−γ)))이며, 고전적 방법은 eO(d D²T⁵|R|²max / (ε²(1−γ)²)) 스케일링을 보인다.
• 해석적 그래디언트 추정의 경우, 양자 복잡도는 eO(d^{ξ(p)} BpT|R|max / (ε(1−γ)))이며, ξ(p) = max{0, 1/2 − 1/p} 이고, 고전적 방법은 eO((BpT|R|max / (ε(1−γ)))²) 스케일링을 보인다.
• 결과적으로, 양자 정책 그래디언트 알고리즘은 잘 정의된 양자 정책에서 샘플 복잡도에서 제곱근 속도 향상을 달성할 수 있으며, 특히 PQC에서 유도된 정책에서 두드러진다.
• 분석 결과, Gevrey 조건의 형태가 완화될 경우 수치 그래디언트 알고리즘의 복잡도에서 T에 대한 스케일링을 해석적 방법과 일치시킬 수 있는 잠재적 향상 요소가 존재한다.