[논문 리뷰] A Survey on Quantum Reinforcement Learning

Nico Meyer, Christian Ufrecht외 4명|arXiv (Cornell University)|2022. 11. 07.

Quantum Computing Algorithms and Architecture인용 수 30

한 줄 요약

양자 강화 학습(QRL)에 대한 포괄적 고찰로, 양자 영감, 변분 양자 회로 (VQC) 기반, 투사 시뮬레이션, 볼츠만 기계, 그리고 post-NISQ 접근법을 다루며, 근접 시기에 이용 가능한 장치와 오류 허용 가능한 전망에 중점을 둔다.

ABSTRACT

Quantum reinforcement learning is an emerging field at the intersection of quantum computing and machine learning. While we intend to provide a broad overview of the literature on quantum reinforcement learning - our interpretation of this term will be clarified below - we put particular emphasis on recent developments. With a focus on already available noisy intermediate-scale quantum devices, these include variational quantum circuits acting as function approximators in an otherwise classical reinforcement learning setting. In addition, we survey quantum reinforcement learning algorithms based on future fault-tolerant hardware, some of which come with a provable quantum advantage. We provide both a birds-eye-view of the field, as well as summaries and reviews for selected parts of the literature.

연구 동기 및 목표

• QRL 문헌과 그 변형에 대한 폭넓은 개요를 제공한다.
• QRL의 해석을 명확히 하고 순수하게 고전적, NISQ 시대, 및 post-NISQ 접근법을 구분한다.
• 주요 알고리즘 계열과 그 하드웨어 요건을 요약한다.

제안 방법

• 양자-고전 하이브리드화의 수준에 따라 QRL 알고리즘을 분류한다(고전적에서 양자까지).
• 양자 영감 RL, VQC-based QRL, 투사 시뮬레이션, 볼츠만 기계, 그리고 양자 서브루틴 접근법에 대한 상세한 요약을 제시한다.
• 근향-제 NISQ 구현과 가능한 양자 이점을 갖춘 향후 fault-tolerant 패러다임을 논의한다.
• 기초 RL 및 QC 개념을 설명하여 QRL 접근법의 맥락을 제시한다.

실험 결과

연구 질문

• RQ1 주요 QRL 알고리즘 계열은 무엇이며 양자-고전 하이브리드화에서 어떻게 다른가?
• RQ2 대표적인 QRL 접근에 필요한 하드웨어 체제(NISQ 대 fault-tolerant)는 무엇이며 어디에서 양자 이점이 기대되는가?
• RQ3 변분 양자 회로(VQC)가 QRL에서 함수 근사기로서 어떤 역할을 수행하며 그 장점/한계는 무엇인가?
• RQ4 RL에서 양자 영감 방법의 역할은 무엇이며 그것이 고유한 양자 이점을 제공하는가?
• RQ5 향후 연구 방향을 안내하기 위해 QRL을 어떻게 구성하고 검토할 수 있는가?

주요 결과

• QRL은 양자 영감 방법과 post-NISQ 자원을 사용하는 완전 양자 접근법 및 잠재적 양자 이점을 포함한다.
• VQC-based QRL은 하이브리드 양자-고전 RL 파이프라인 내에서 함수 근사기로서 양자 회로를 활용한다.
• 여러 QRL 변형은 향후 fault-tolerant 양자 하드웨어를 가정하는 서브루틴이나 구성요소에 의존한다.
• 단기 연구는 NISQ 장치를 활용하는 데 초점을 맞추고 있으며, 일부 post-NISQ 접근은 입증 가능한 양자 이점을 목표로 한다.
• 본 고찰은 다수의 하위영역에 걸친 저명한 QRL 기여에 대한 체계적 개요와 상세한 요약을 제공한다.