[논문 리뷰] Policies for elementary link generation in quantum networks.

Sumeet Khatri|arXiv (Cornell University)|2020. 07. 07.

Quantum Information and Cryptography참고 문헌 72인용 수 8

한 줄 요약

이 논문은 양자 네트워크에서 기본 링크 생성을 양자 부분 관측 가능 마르코프 결정 과정(quantum partially observable Markov decision process)으로 수식화하여, 동적 프로그래밍을 통한 정책 최적화를 가능하게 한다. 메모리 커프오프 정책을 상세히 분석하고, 임의의 노이즈 모델 하에서 시간에 따라 변화하는 양자 상태와 성능을 유도하며, 전체 양자 네트워크 프로토콜에 대한 강화 학습의 기반을 마련한다.

ABSTRACT

Protocols in a quantum network involve multiple parties performing actions on their quantum systems in a carefully orchestrated manner over time in order to accomplish a given task. This sequence of actions over time is often referred to as a strategy, or policy. In this work, we consider policy optimization in a quantum network. Specifically, as a first step towards developing full-fledged quantum network protocols, we consider policies for generating elementary links in a quantum network. We start by casting elementary link generation as a quantum partially observable Markov decision process, as defined in [Phys. Rev. A 90, 032311 (2014)]. Then, we analyze in detail the commonly used memory cutoff policy. Under this policy, once an elementary link is established it is kept in quantum memory for some amount $t^{\star}$ of time, called the cutoff, before it is discarded and the elementary link generation is reattempted. For this policy, we determine the average quantum state of the elementary link as a function of time for an arbitrary number of nodes in the link, as well as the average fidelity of the link as a function of time for any noise model for the quantum memories. Finally, we show how optimal policies can be obtained in the finite-horizon setting using dynamic programming. By casting elementary link generation as a quantum decision process, this work goes beyond the analytical results derived here by providing the theoretical framework for performing reinforcement learning of practical quantum network protocols.

연구 동기 및 목표

• 기본 링크 생성부터 시작하여 양자 네트워크에서 정책 최적화를 위한 이론적 프레임워크를 개발하기 위해.
• 체계적인 정책 설계를 위해 기본 링크 생성을 양자 부분 관측 가능 마르코프 결정 과정(POMDP)으로 모델링하기 위해.
• 광범위하게 사용되는 메모리 커프오프 정책을 분석하여 일반적인 노이즈 모델 하에서 시간에 따라 변화하는 양자 상태와 성능을 규명하기 위해.
• 동적 프로그래밍을 활용해 유한 수명 주기 설정에서 최적의 정책을 계산할 수 있음을 보여주기 위해.
• 실용적인 양자 네트워크 프로토콜 설계를 위한 강화 학습 적용을 위한 기초를 마련하기 위해.

제안 방법

• 기본 링크 생성을 양자 POMDP로 수식화하여, 양자 네트워크에 의사결정 이론적 방법의 적용을 가능하게 한다.
• 고정된 시간 $ t^\star $ 이후 링크가 폐기되고 재시도되는 메모리 커프오프 정책을 정의한다.
• 시간과 노드 수에 따라 변화하는 기본 링크의 밀도 행렬을 유도한다.
• 임의의 양자 메모리 노이즈 모델에 대해 시간에 따른 링크의 평균 성능을 계산한다.
• 유한 수명 주기 시나리오에서 최적의 정책을 찾기 위해 동적 프로그래밍을 적용한다.
• 복잡한 양자 네트워크 프로토콜에 대한 강화 학습을 지원하는 이론적 프레임워크를 제공한다.

실험 결과

연구 질문

• RQ1 다중 노드 네트워크에서 메모리 커프오프 정책 하에서 기본 링크의 양자 상태는 시간에 따라 어떻게 변화하는가?
• RQ2 일반적인 양자 메모리 노이즈 모델 하에서 기본 링크의 시간에 따른 성능은 무엇인가?
• RQ3 유한 수명 주기 설정에서 기본 링크 생성을 위한 최적의 정책은 어떻게 계산할 수 있는가?
• RQ4 상태 진화와 성능 감쇠 측면에서 메모리 커프오프 정책의 분석적 성질은 무엇인가?
• RQ5 양자 POMDP 프레임워크는 어떻게 양자 네트워크 프로토콜의 강화 학습을 가능하게 하는가?

주요 결과

• 메모리 커프오프 정책 하에서 기본 링크의 평균 양자 상태는 링크에 포함된 노드 수와 시간의 함수로 도출되었다.
• 임의의 주어진 메모리 노이즈 모델에 대해 링크의 평균 성능은 시간의 함수로 해석적으로 표현되었다.
• 메모리 커프오프 정책의 성능는 정확히 정량화되어 다른 정책과의 비교가 가능해졌다.
• 유한 수명 주기 설정에서 최적의 정책은 동적 프로그래밍을 통해 체계적으로 계산될 수 있었다.
• 양자 POMDP 프레임워크는 강화 학습 기법을 양자 네트워크 프로토콜 설계에 확장하는 데 기여하였다.
• 이 작업은 전체 양자 네트워크 프로토콜 학습 및 최적화를 위한 기초 이론적 프레임워크를 구축하였다.