[논문 리뷰] Quantum Reinforcement Learning for Solving a Stochastic Frozen Lake Environment and the Impact of Quantum Architecture Choices

Theodora-Augustina Drăgan, Maureen Monnet외 2명|arXiv (Cornell University)|2022. 12. 15.

Quantum Computing Algorithms and Architecture인용 수 4

한 줄 요약

이 논문은 스토케스틱하고 미끄러운 4x4 프리즈닝 레이크 환경을 해결하기 위해 고전적 신경망을 파arametrized quantum circuits (PQCs)로 대체하는 하이브리드 양자-고전적 Proximal Policy Optimization (PPO) 에이전트를 제안한다. 다양한 양자 회로 아키텍처를 평가한 결과, 모든 PQCs는 뛰어난 성능을 보였으며, 학습 단계를 최대 1/3 감소시키고 파rameter 수도 1/3으로 줄였지만, 양자 회로의 지표(표현력, 얽힘 능력, 유효 차원)와 강화학습 성능 간 직접적인 상관관계는 없었으며, 이는 회로 설계가 이론적으로 예측 가능하지 않다는 점을 시사한다.

ABSTRACT

Quantum reinforcement learning (QRL) models augment classical reinforcement learning schemes with quantum-enhanced kernels. Different proposals on how to construct such models empirically show a promising performance. In particular, these models might offer a reduced parameter count and shorter times to reach a solution than classical models. It is however presently unclear how these quantum-enhanced kernels as subroutines within a reinforcement learning pipeline need to be constructed to indeed result in an improved performance in comparison to classical models. In this work we exactly address this question. First, we propose a hybrid quantum-classical reinforcement learning model that solves a slippery stochastic frozen lake, an environment considerably more difficult than the deterministic frozen lake. Secondly, different quantum architectures are studied as options for this hybrid quantum-classical reinforcement learning model, all of them well-motivated by the literature. They all show very promising performances with respect to similar classical variants. We further characterize these choices by metrics that are relevant to benchmark the power of quantum circuits, such as the entanglement capability, the expressibility, and the information density of the circuits. However, we find that these typical metrics do not directly predict the performance of a QRL model.

연구 동기 및 목표

• 어려운 스토케스틱한 프리즈닝 레이크 환경의 변종을 해결할 수 있는 하이브리드 양자-고전적 강화학습 모델을 개발하는 것.
• 다양한 파arametrized quantum circuit (PQC) 아키텍처가 양자 강화학습(QRL) 성능에 미치는 영향을 평가하는 것.
• 기존의 양자 회로 지표인 표현력, 얽힘 능력, 유효 차원이 QRL 성능을 예측할 수 있는지 조사하는 것.
• 표준 지표로는 이론적으로 예측이 어려운 상황에서 QRL를 위한 양자 회로 설계에 대한 경험적 지침을 제공하는 것.

제안 방법

• 정책 네트워크를 파arametrized quantum circuit (PQC)로 대체한 하이브리드 양자-고전적 PPO 알고리즘을 구현한다.
• 80% 확률로 의도한 방향으로 이동하고 20% 확률로 수직 방향으로 이동하는 스토케스틱한 4x4 프리즈닝 레이크 환경에서 PPO 에이전트를 학습시킨다.
• 6종의 서로 다른 PQC 아키텍처를 평가하였으며, 각각 하드웨어 효율성과 문제 특화 서브루틴을 고려한 문헌 기반 설계를 기반으로 한다.
• 표현력, 얽힘 능력, 유효 차원(ED)의 세 가지 지표를 사용해 양자 회로 성능을 정량화하여 고전 모델과 비교할 수 있도록 한다.
• 학습은 시뮬레이션을 통해 수행되며, 성능은 최대 수익(MR)과 학습 수렴 시간(TTC)으로 측정된다.
• 다양한 PQC 설계에서 양자 회로 지표와 RL 성능 간 상관관계를 분석하기 위해 결과를 분석한다.

실험 결과

연구 질문

• RQ1 고전적 정책 네트워크를 파arametrized quantum circuit로 대체하면 스토케스틱 강화학습 환경에서 성능 향상이 이루어지는가?
• RQ2 스토케스틱 프리즈닝 레이크 환경을 해결하는 데 있어 어떤 양자 회로 아키텍처가 가장 뛰어난 성능을 내는가?
• RQ3 표준 양자 회로 지표인 표현력, 얽힘 능력, 유효 차원이 양자 강화학습 에이전트의 성능을 어느 정도 예측할 수 있는가?
• RQ4 왜 일부 표현력이나 얽힘 능력이 낮은 양자 회로가 다른 회로보다 실질적으로 더 뛰어난 성능을 내는가?
• RQ5 양자 강화된 커널은 학습 가능한 파rameter 수를 줄이고 강화학습의 수렴 속도를 높일 수 있는가?

주요 결과

• 하이브리드 양자-고전적 PPO 모델은 스토케스틱한 4x4 프리즈닝 레이크 환경을 성공적으로 해결하였으며, 고전 모델과 유사한 최대 수익을 달성하였다.
• 양자 강화된 에이전트는 고전 기준 대비 약 1/3의 학습 단계로 수렴하였다.
• 양자 회로는 고전 모델 대비 학습 가능한 파rameter 수를 약 1/3으로 줄였다.
• 회로 6은 최고의 최대 수익을 기록했으며, 표현력과 유효 차원에서도 최고 순위를 기록했지만, 모든 지표와 성능 측정치 간 일관된 상관관계는 발견되지 않았다.
• 유사하거나 더 높은 표현력과 얽힘 능력을 가진 회로(예: 회로 13)는 다른 회로(예: 회로 6)보다 성능이 열 劣하였으며, 이는 지표만으로는 성능을 예측할 수 없음을 시사한다.
• 얽힘 게이트의 위치가 성능에 큰 영향을 미치며, 이는 세 가지 지표가 반영하지 못한 요소로서, 추가적인 아키텍처 설계 요소가 작용하고 있음을 시사한다.