[논문 리뷰] Generalized Quantum Reinforcement Learning with Quantum Technologies.

F. A. Cárdenas-López, Lucas Lamata외 2명|arXiv (Cornell University)|2017. 09. 22.

Quantum Computing Algorithms and Architecture참고 문헌 50인용 수 2

한 줄 요약

이 논문은 코herent 피드백이 필요하지 않은 일반화된 양자 강화학습 프로토콜을 제안하며, 트랩된 이온과 초전도 회로와 같은 다양한 양자 시스템에서의 구현을 가능하게 한다. 이 방법은 다중 큐비트 및 다중 레벨 시스템, 열린 시스템 동역학을 지원하며, 양자 제어 및 기계학습 효율성을 향상시킨다.

ABSTRACT

We propose a protocol to perform generalized quantum reinforcement learning with quantum technologies. At variance with recent results on quantum reinforcement learning with superconducting circuits [L. Lamata, Sci. Rep. 7, 1609 (2017)], in our current protocol coherent feedback during the learning process is not required, enabling its implementation in a wide variety of quantum systems. We consider diverse possible scenarios for an agent, an environment, and a register that connects them, involving multiqubit and multilevel systems, as well as open-system dynamics. We finally propose possible implementations of this protocol in trapped ions and superconducting circuits. The field of quantum reinforcement learning with quantum technologies will enable enhanced quantum control, as well as more efficient machine learning calculations.

연구 동기 및 목표

• 기존의 양자 강화학습 프로토콜이 코herent 피드백을 요구함으로써 적용 범위가 제한되는 문제를 해결한다.
• 다양한 양자 시스템, 특히 다중 큐비트 및 다중 레벨 아키텍처를 수용할 수 있는 유연한 프레임워크를 개발한다.
• 열린 시스템 동역학을 양자 강화학습에 통합하여 실제 양자 하드웨어 플랫폼의 조건을 반영한다.
• 트랩된 이온과 초전도 회로와 같은 확장 가능한 양자 기술에서의 실용적 구현을 가능하게 한다.
• 일반화된 학습 프로토콜을 통해 양자 제어 및 계산 효율성을 향상시켜 양자 기반 기계학습 분야를 발전시킨다.

제안 방법

• 에이전트, 환경, 연결 레지스터를 조절 가능한 비편재성과 얽힘을 가진 양자 시스템으로 모델링한다.
• 측정 기반 피드백과 측정 결과의 고전적 처리를 통해 학습 과정을 코herent 피드백의 필요성에서 분리한다.
• 실제 하드웨어의 디코herence와 소산을 고려하기 위해 열린 양자 시스템 형식을 사용해 학습 동역학을 수립한다.
• 환경 상호작용에서 유도된 보상 신호를 기반으로 정책 업데이트를 최적화하기 위해 양자 제어 기법을 통합한다.
• 양자 레지스터를 사용해 에이전트와 환경 간의 상호작용을 매개함으로써 확장 가능하고 모듈러한 시스템 설계를 가능하게 한다.
• 유니타리 진동과 측정 기반 피드백을 통해 이산 및 연속 행동 공간을 모두 지원할 수 있도록 프레임워크를 적응시킨다.

실험 결과

연구 질문

• RQ1 학습 루프에서 코herent 피드백이 필요하지 않은 양자 강화학습을 어떻게 일반화할 수 있는가?
• RQ2 확장 가능하고 강건한 양자 강화학습 프로토콜을 구현하기 위한 최소한의 양자 시스템 요구사항은 무엇인가?
• RQ3 열린 시스템 동역학을 어떻게 효과적으로 양자 강화학습에 통합하여 실제 세계의 양자 하드웨어 제약 조건을 반영할 수 있는가?
• RQ4 다중 큐비트 및 다중 레벨 양자 시스템은 양자 강화학습의 표현력과 효율성을 어떻게 향상시킬 수 있는가?
• RQ5 기존의 양자 기술, 예를 들어 트랩된 이온과 초전도 회로에서 제안된 프로토콜의 실현 가능한 물리적 구현 방법은 무엇인가?

주요 결과

• 제안된 프로토콜은 코herent 피드백이 필요하지 않아 다양한 양자 하드웨어 플랫폼에 대한 적용 가능성을 크게 넓힌다.
• 프레임워크는 다중 큐비트 및 다중 레벨 시스템을 포함한 다양한 양자 시스템 아키텍처를 지원하여 유연성과 확장성을 향상시킨다.
• 열린 시스템 동역학이 학습 과정에 자연스럽게 통합되어 디코herence와 소산이 존재하는 실제 양자 장치에 적합한 프로토콜이 된다.
• 기존의 양자 기술과 호환되며, 트랩된 이온과 초전도 회로에서의 실제 구현을 위한 구체적인 제안이 있다.
• 이 접근법은 향상된 양자 제어와 더 효율적인 기계학습 계산을 가능하게 하여, 양자 강화 학습 시스템의 잠재력을 향상시킨다.
• 설계는 에이전트, 환경, 레지스터의 모듈러 통합을 허용하여 향후 복잡한 학습 작업으로의 확장에 유리하다.