[논문 리뷰] Quantum Deep Reinforcement Learning for Robot Navigation Tasks

Hans Hohenfeld, Dirk Heimann외 2명|arXiv (Cornell University)|2022. 02. 24.

Quantum Computing Algorithms and Architecture참고 문헌 70인용 수 10

한 줄 요약

이 논문은 시뮬레이션된 휠드 로봇의 주행 작업을 위한 파라미터화된 양자 회로(PQC)를 사용한 하이브리드 양자-고전적 딥 강화학습 접근법을 제안한다. PQC는 고전적 딥 Q네트워크보다 훨씬 적은 훈련 가능한 파라미터로 최적의 정책을 학습할 수 있음을 보여주지만, 고전적 모델은 더 빠르고 안정적으로 훈련된다; 상태 벡터를 연속적으로 큐비트에 인코딩하는 것이 구성요소별 인코딩보다 성능이 뛰어나다.

ABSTRACT

We utilize hybrid quantum deep reinforcement learning to learn navigation tasks for a simple, wheeled robot in simulated environments of increasing complexity. For this, we train parameterized quantum circuits (PQCs) with two different encoding strategies in a hybrid quantum-classical setup as well as a classical neural network baseline with the double deep Q network (DDQN) reinforcement learning algorithm. Quantum deep reinforcement learning (QDRL) has previously been studied in several relatively simple benchmark environments, mainly from the OpenAI gym suite. However, scaling behavior and applicability of QDRL to more demanding tasks closer to real-world problems e. g., from the robotics domain, have not been studied previously. Here, we show that quantum circuits in hybrid quantum-classic reinforcement learning setups are capable of learning optimal policies in multiple robotic navigation scenarios with notably fewer trainable parameters compared to a classical baseline. Across a large number of experimental configurations, we find that the employed quantum circuits outperform the classical neural network baselines when equating for the number of trainable parameters. Yet, the classical neural network consistently showed better results concerning training times and stability, with at least one order of magnitude of trainable parameters more than the best-performing quantum circuits. However, validating the robustness of the learning methods in a large and dynamic environment, we find that the classical baseline produces more stable and better performing policies overall.

연구 동기 및 목표

• 간단한 벤치마크 환경을 넘어서 복잡한 로봇 주행 작업에서 하이브리드 양자-고전적 강화학습의 타당성을 조사하기 위해.
• 훈련 가능한 파라미터 수를 동일하게 한 조건에서 양자 회로 기반 함수 근사기(PQC)와 고전적 딥 Q네트워크(DDQN)의 샘플 효율성, 훈련 속도, 정책 성능을 비교하기 위해.
• 파라미터화된 양자 회로에서 고전적 로봇 상태 벡터의 양자 상태 인코딩 전략을 평가하기 위해.
• 작업 복잡도 증가에 따라 양자 및 고전적 모델의 스케일링 행동을 분석하기 위해.

제안 방법

• 하이브리드 양자-고전적 프레임워크에서 기능 근사기로 파라미터화된 양자 회로(PQC)를 사용한 더블 딥 Q네트워크(DDQN) 강화학습을 적용하였다.
• 두 가지 양자 상태 인코딩 전략을 사용하였다: 전체 고전적 상태 벡터를 큐비트에 연속적으로 인코딩하는 것과 각 구성요소를 별도의 큐비트에 할당하는 것.
• 양자 회로의 파라미터에 대해 기울기 기반 업데이트를 수행하는 양자-고전 최적화 루프를 사용해 PQC를 훈련시켰다.
• 동일한 초모수 및 아키텍처를 가진 고전적 딥 Q네트워크 베이스라인과 PQC 성능을 비교하였다.
• 복잡도가 증가하는 세 가지 시뮬레이션 주행 작업을 통해 결과를 검증하였다: 3×3 격자, 5×5 격자, 그리고 큰 동적 환경.
• 표준 강화학습 메트릭을 사용하였다: 평균 평가 보상, 수렴까지의 훈련 스텝 수, 다수의 실행에 걸친 정책 안정성.

실험 결과

연구 질문

• RQ1 하이브리드 양자-고전적 딥 강화학습은 점점 더 복잡한 시뮬레이션된 로봇 환경에서 최적의 주행 정책을 학습할 수 있는가?
• RQ2 훈련 가능한 파라미터 수를 동일하게 한 조건에서 PQC 기반 기능 근사기와 고전적 딥 Q네트워크의 샘플 효율성 및 정책 성능는 어떻게 비교되는가?
• RQ3 연속적 인코딩과 구성요소별 인코딩 중 어느 양자 상태 인코딩 전략이 로봇 주행 작업에서 더 뛰어난 학습 성능를 제공하는가?
• RQ4 동일한 파라미터 수를 가진 조건에서 양자 모델과 고전적 모델의 훈련 안정성과 수렴 속도는 어떻게 비교되는가?
• RQ5 고전적 베이스라인 대비 양자 회로는 실제 로봇 작업에 얼마나 스케일업 가능한가?

주요 결과

• 훈련 가능한 파라미터 수를 동일하게 한 조건에서, 특히 단순한 주행 작업에서 PQC는 고전적 신경망보다 정책 성능에서 뛰어났다.
• 연속적 인코딩(각 큐비트에 하나의 입력)을 사용한 PQC는 구성요소별 인코딩보다 더 뛰어난 성능를 보였으며, 이는 인코딩 전략이 학습 효율성에 상당한 영향을 미친다는 것을 시사한다.
• 고전적 딥 Q네트워크는 양자 회로보다 더 빠르고 안정적으로 훈련되었으며, 최고 성능의 양자 회로를 따라잡기 위해 최소한 한 계단 더 많은 파라미터가 필요했다.
• 큰 동적 환경에서는 고전적 베이스라인이 더 안정적이고 높은 성능의 정책을 생성하여, 복잡한 환경에서의 강건성 우월성을 보였다.
• FrozenLake 및 CartPole-v1과 같은 벤치마크 환경에서의 훈련은 자체 개발한 주행 작업보다 훨씬 빠르게 이루어졌으며, 이는 후자가 알고리즘에 더 도전적인 과제임을 확인한다.
• 결과적으로 현재 하이브리드 양자 머신러닝 접근법은 이상화된 시뮬레이션에서 단순한 로봇 작업에 대해 실현 가능하지만, 더 도전적인 문제로의 확장성은 여전히 열려 있는 과제이다.