[논문 리뷰] Exponential improvements for quantum-accessible reinforcement learning

Vedran Dunjko, Yi-Kai Liu외 2명|arXiv (Cornell University)|2017. 10. 30.

Quantum Computing Algorithms and Architecture참고 문헌 25인용 수 6

한 줄 요약

이 논문은 '자연스러움' 조건을 만족하는 양자 접근 가능한 환경을 도입하여 강화학습(RL)에서 지수적 양자 속도 향상을 보여준다. 인위적인 오라클 문제를 피하기 위해, Recursive Fourier Sampling 및 Simon의 문제와 같은 문제들을 마르코프 결정 과정(MDPs)에 인코딩함으로써, 저자들은 양자 에이전트가 고정된 오차 및 실패 비율 조건 하에서도 고전적 에이전트보다 초다항적 학습 효율성 향상을 달성함을 보여준다.

ABSTRACT

Quantum computers can offer dramatic improvements over classical devices for data analysis tasks such as prediction and classification. However, less is known about the advantages that quantum computers may bring in the setting of reinforcement learning, where learning is achieved via interaction with a task environment. Here, we consider a special case of reinforcement learning, where the task environment allows quantum access. In addition, we impose certain "naturalness" conditions on the task environment, which rule out the kinds of oracle problems that are studied in quantum query complexity (and for which quantum speedups are well-known). Within this framework of quantum-accessible reinforcement learning environments, we demonstrate that quantum agents can achieve exponential improvements in learning efficiency, surpassing previous results that showed only quadratic improvements. A key step in the proof is to construct task environments that encode well-known oracle problems, such as Simon's problem and Recursive Fourier Sampling, while satisfying the above "naturalness" conditions for reinforcement learning. Our results suggest that quantum agents may perform well in certain game-playing scenarios, where the game has recursive structure, and the agent can learn by playing against itself.

연구 동기 및 목표

• 양자 접근 가능한 강화학습(RL) 환경이 고전적 RL 에이전트보다 초다항적 또는 지수적 속도 향상을 가져올 수 있는지 조사하는 것.
• 인위적인 오라클 기반 속도 향상을 차단하기 위해 '자연스러움' 조건을 정의하고 적용함으로써 실제 RL 설정과의 관련성을 확보하는 것.
• 어려운 양자 오라클 문제(예: Recursive Fourier Sampling, Simon의 문제)를 인코딩하면서도 RL 호환성을 유지하는 MDPs를 구축하는 것.
• 이러한 환경에서 양자 에이전트가 다항 시간 내에 최적 정책을 학습할 수 있고, 고전적 에이전트는 초다항 시간이 소요됨을 증명하는 것.
• 초다항적으로 감소하는 오차 범위가 필요하지 않더라도 오차 및 실패 비율이 일정할 경우에도 이러한 속도 향상이 유지됨을 보여주는 것.

제안 방법

• 환경가 양자 중첩을 유지하고 양자 제어를 허용하는 양자 접근 가능한 RL 환경의 프레임워크를 수학적으로 정의하는 것.
• 인위적인 오라클 문제를 배제하고 실용적 RL에 적합한 환경임을 보장하기 위해 세 가지 자연스러움 기준(a)–(c)를 정의하는 것.
• Recursive Fourier Sampling(RFS) 문제를 인코딩하는 MDPs M₃를 구축하며, 양자 오라클을 환경의 전이 동역학 내에 통합하는 것.
• RFS에 대해 알려진 효율적인 양자 알고리즘(예: 확률 증폭 및 오라클화 기법 사용)을 활용하여 다항 시간 내에 학습하는 양자 에이전트를 설계하는 것.
• 재귀적 MDP의 구조를 활용해 계층적 학습을 모델링하며, 고차원 문제 해결이 하위 문제 해결을 가능하게 하는 양자 일관성 원리를 적용하는 것.
• 오라클화를 적용하여 양자 오라클을 양자 접근 가능한 환경으로 매핑함으로써, 에이전트가 중첩 상태에서 오라클을 쿼리하고 전역적 구조를 효율적으로 추출할 수 있도록 하는 것.

실험 결과

연구 질문

• RQ1 양자 접근 가능한 강화학습 환경이 고전적 에이전트보다 지수적 또는 초다항적 속도 향상을 가져올 수 있는가?
• RQ2 인위적인 오라클 구성 방식을 배제하는 자연스러운 조건 하에서도 RL에서의 양자 속도 향상이 유지되는가?
• RQ3 Recursive Fourier Sampling 및 Simon의 문제와 같은 문제들이 RL 자연스러움 조건을 만족하는 MDPs에 통합될 수 있는가?
• RQ4 고차원 작업을 해결함으로써 저차원 작업을 해결할 수 있는 계층적 RL 환경에서 양자 우월성이 존재하는가?
• RQ5 고전적 에이전트가 초다항 시간이 소요되는 MDPs에서 양자 에이전트가 다항 시간 내에 학습을 수행할 수 있는가?

주요 결과

• Recursive Fourier Sampling(RFS)를 인코딩한 MDPs에서 양자 에이전트는 초다항적 학습 효율성을 달성하지만, 고전적 에이전트는 초다항 시간이 소요된다.
• 오차 및 실패 비율이 일정할 경우에도 양자 우월성이 유지되며, 초다항적으로 감소하는 오차 경계가 필요하지 않아 결과가 강건함을 입증한다.
• RFS를 인코딩하기 위해 구축한 MDP M₃는 세 가지 자연스러움 기준(a)–(c)를 모두 충족하여 실질적이고 타당한 RL 환경임을 보장한다.
• 양자 에이전트는 오라클화 및 확률 증폭을 활용하여 재귀적 구조를 이용해 다항 시간 내에 전체 비밀 문자열 s(∅)를 추출한다.
• 결과는 양자 에이전트가 재귀적 게임 플레이 또는 계층적 기술 학습 시나리오에서 고전적 에이전트를 능가할 수 있음을 시사한다.
• 이 프레임워크는 지수적 속도 향상이 인위적인 오라클 문제 외에도, 구조화되고 자연스러운 RL 환경에서도 가능함을 보여준다.