[논문 리뷰] Playing Atari with Hybrid Quantum-Classical Reinforcement Learning

Owen Lockwood, Mei Si|arXiv (Cornell University)|2021. 07. 08.

Quantum Computing Algorithms and Architecture참고 문헌 50인용 수 15

한 줄 요약

이 논문은 양자 변동 회로(QVC)에 고차원 Atari 게임 프레임(28,224 픽셀)을 양자 상태로 매핑하기 위해 학습된 데이터 인코더로 신경망을 사용하는 하이브리드 양자-고전적 강화학습 프레임워크를 제안한다. 이를 바탕으로 더블 딥 Q-네트워크(DQN)에 통합한다. 이와 같은 혁신적인 접근에도 불구하고, 이 방법은 Breakout과 Pong을 학습하지 못하며 고전적 DQN 모델에 비해 성능이 열 劣하므로 현재 하이브리드 시스템은 복잡한 Atari 환경을 다룰 수 있을 정도의 표현력이 부족함을 시사한다.

ABSTRACT

Despite the successes of recent works in quantum reinforcement learning, there are still severe limitations on its applications due to the challenge of encoding large observation spaces into quantum systems. To address this challenge, we propose using a neural network as a data encoder, with the Atari games as our testbed. Specifically, the neural network converts the pixel input from the games to quantum data for a Quantum Variational Circuit (QVC); this hybrid model is then used as a function approximator in the Double Deep Q Networks algorithm. We explore a number of variations of this algorithm and find that our proposed hybrid models do not achieve meaningful results on two Atari games - Breakout and Pong. We suspect this is due to the significantly reduced sizes of the hybrid quantum-classical systems.

연구 동기 및 목표

• 표준 인코딩 방법으로는 현재 불가능한 대규모 관측 공간(예: Atari 게임 프레임)을 양자 시스템에 매핑하는 데 도전하는 것.
• 학습된 신경망 기반 데이터 인코딩이 Atari와 같은 대규모 벤치마크에서 양자 강화학습을 가능하게 할 수 있는지 조사하는 것.
• 고전적 기준과 비교하여 하이브리드 양자-고전적 에이전트가 Atari 환경(Breakout 및 Pong)에서의 성능을 평가하는 것.
• 현재 NISQ 시대의 양자 하드웨어 제약 조건 하에서 고차원 제어 과제에서 함수 근사의 양자 우월성이 나타날 수 있는지 여부를 규명하는 것.

제안 방법

• Atari 게임의 원시 픽셀 관측값을 양자 연산으로 매핑하기 위해 가변 가능한 양자 회로(QVC)에 대한 양자 상태로 변환하기 위해 합성곱 신경망(CNN)을 미분 가능한 데이터 인코더로 사용한다.
• Q-값 함수를 하이브리드 양자-고전적 모델로 근사하는 더블 딥 Q-네트워크(DQN) 프레임워크를 사용하며, QVC는 함수 근사기로 기능한다.
• 정책 기반 강화학습 방법을 통해 훈련되는 가변 매개변수를 가진 양자 회로(QVC)를 적용하며, NISQ 장치에서의 시뮬레이션을 위해 텐서플로우 큐앙텀(TensorFlow Quantum)을 사용한다.
• 고전적 DQN 손실에서 유도된 기울기를 통해 신경 인코더를 거쳐 고전적 및 양자 매개변수를 동시에 갱신하는 하이브리드 훈련 파이프라인을 구현한다.
• 다양한 QVC 깊이와 인코더 용량을 가진 여러 모델 버전을 탐색하여 Breakout과 Pong에서의 성능을 테스트한다.
• 고정된 관측 공간(84×84×4 프레임, 28,224 차원)을 사용하며, 각 프레임을 개별 큐비트의 학습된 회전을 통해 양자 상태로 인코딩한다.

실험 결과

연구 질문

• RQ1 학습된 신경망 인코더가 고차원 Atari 게임 상태를 강화학습에 적합한 양자 표현으로 효과적으로 매핑할 수 있는가?
• RQ2 QVC 기반 함수 근사기를 사용하는 하이브리드 양자-고전적 DQN 에이전트가 Breakout 및 Pong 같은 Atari 게임에서 고전적 DQN 에이전트를 능가하는가?
• RQ3 모델 크기와 표현력이 복잡한 환경에서 하이브리드 양자-고전적 RL 에이전트의 학습 성능에 미치는 영향는 어떠한가?
• RQ4 데이터 재업로드 또는 진폭 인코딩이 없는 것이 현재 하이브리드 QRL 모델의 성능을 대규모 벤치마크에서 제한하는가?

주요 결과

• 하이브리드 양자-고전적 에이전트는 Breakout과 Pong에 대해 정책 학습에 계속 실패했으며, 고전적 DQN 기준보다 유의미하게 낮은 평균 수익을 기록했다.
• 성능이 가장 뛰어난 하이브리드 모델은 Breakout에서 약 15의 평균 수익, Pong에서는 약 10의 평균 수익을 기록했지만, 고전적 DQN은 각각 250과 200의 평균 수익을 기록했다.
• 고전적 모델 대비 매개변수 수를 100배 줄였음에도 불구하고, 하이브리드 에이전트는 수렴하거나 정책 향상의 징후를 보이지 않았다.
• 실패 원인은 QVC 크기와 회로 깊이가 부족하여 함수 근사기 표현력이 부족하기 때문이며, 하이브리드 아키텍처의 근본적 결함 때문이 아니다.
• 결과적으로 현재 하이브리드 모델는 Atari 환경의 복잡성에 대응할 수 있을 정도로 너무 작고 과소 매개변수화되어 있음을 시사하며, 학습된 인코딩을 사용한 것에도 불구하고 그렇다.
• 이 연구는 현재의 NISQ 하드웨어 제약 조건 하에서는 데이터 재업로드와 같은 훈련 기법 개선 없이도 양자 강화학습의 우월성이 대중 벤치마크에서 실현 가능하지 않음을 시사한다.