[논문 리뷰] A framework for deep energy-based reinforcement learning with quantum speed-up

Sofiène Jerbi, Hendrik Poulsen Nautrup외 3명|arXiv (Cornell University)|2019. 10. 28.

Quantum Computing Algorithms and Architecture인용 수 5

한 줄 요약

이 논문은 깊이 있는 에너지 기반 모델과 사영 시뮬레이션을 통합하는 통합 프레임워크를 제안하여 딥 강화학습에서 양자 속도 향상을 가능하게 한다. 생성형 에너지 기반 모델을 활용함으로써, 문제의 에너지 구조를 효과적으로 활용하여 복잡하고 대규모 환경에서의 의사결정 능력을 향상시킨다.

ABSTRACT

In the past decade, deep learning methods have seen tremendous success in various supervised and unsupervised learning tasks such as classification and generative modeling. More recently, deep neural networks have emerged in the domain of reinforcement learning as a tool to solve decision-making problems of unprecedented complexity, e.g., navigation problems or game-playing AI. Despite the successful combinations of ideas from quantum computing with machine learning methods, there have been relatively few attempts to design quantum algorithms that would enhance deep reinforcement learning. This is partly due to the fact that quantum enhancements of deep neural networks, in general, have not been as extensively investigated as other quantum machine learning methods. In contrast, projective simulation is a reinforcement learning model inspired by the stochastic evolution of physical systems that enables a quantum speed-up in decision making. In this paper, we develop a unifying framework that connects deep learning and projective simulation, opening the route to quantum improvements in deep reinforcement learning. Our approach is based on so-called generative energy-based models to design reinforcement learning methods with a computational advantage in solving complex and large-scale decision-making problems.

연구 동기 및 목표

• 딥 강화학습과 양자 강화된 의사결정을 통합함으로써 딥 러닝과 사영 시뮬레이션을 융합하는 것을 목적으로 한다.
• 강화학습 내에서 딥 네트워크의 양자 속도 향상에 대한 탐색의 한계를 해결하는 것을 목적으로 한다.
• 양자적 이점을 활용하여 대규모 의사결정 문제를 위한 확장 가능한 프레임워크를 개발하는 것을 목적으로 한다.
• 에너지 기반 모델링을 통해 복잡한 강화학습 과제에서의 양자 개선을 가능하게 하는 것을 목적으로 한다.
• 생성형 에너지 기반 모델을 양자 강화된 강화학습에 통합하는 방법을 탐색하는 것을 목적으로 한다.

제안 방법

• 프레임워크는 깊이 있는 에너지 기반 모델과 사영 시뮬레이션, 즉 양자 영감을 받은 강화학습 모델을 통합한다.
• 의사결정 과제에서 가치 함수와 정책을 매개변수화하기 위해 생성형 에너지 기반 모델을 사용한다.
• 물리계의 확률적 동역학을 활용하여 의사결정의 진화를 모델링함으로써 양자 속도 향상을 가능하게 한다.
• 사영 시뮬레이션의 내재된 양자 계산적 이점 덕분에 학습 동역학에 양자 강화를 통합한다.
• 에너지 기반 함수 근사 기법을 통해 복잡하고 고차원적 환경으로의 확장성을 확보한다.
• 문제의 에너지 구조를 활용하여 효율적인 탐색과 정책 최적화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 사영 시뮬레이션과 에너지 기반 모델을 통합하여 딥 강화학습에서 양자 속도 향상을 달성할 수 있는가?
• RQ2 생성형 에너지 기반 모델은 대규모 강화학습 과제에서 의사결정을 어떻게 향상시킬 수 있는가?
• RQ3 양자 영감을 받은 동역학은 학습 효율성과 확장성 향상에 어떤 역할을 하는가?
• RQ4 딥 러닝과 양자 강화된 강화학습은 어떤 방식으로 체계적으로 통합될 수 있는가?
• RQ5 이 프레임워크는 복잡한 환경에서 기존의 딥 강화학습 기준 모델보다 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 프레임워크는 깊이 있는 에너지 기반 모델과 사영 시뮬레이션을 통합하여 양자 강화된 학습을 성공적으로 실현하였다.
• 통합은 복잡하고 대규모 의사결정 문제를 해결하는 데 계산적 우위를 제공한다.
• 양자 영감을 받은 동역학을 활용하여 학습 효율성과 탐색 능력을 향상시켰다.
• 사영 시뮬레이션을 통해 강화학습에서의 양자 속도 향상 잠재력을 입증하였다.
• 에너지 기반 모델링은 정책 및 가치 함수에 대한 확장 가능하고 표현력 있는 함수 근사 기법을 제공한다.
• 생성 모델링과 양자 동역학을 융합함으로써 양자 강화된 딥 강화학습의 새로운 길을 열었다.