[論文レビュー] Policies for elementary link generation in quantum networks.

Sumeet Khatri|arXiv (Cornell University)|Jul 7, 2020

Quantum Information and Cryptography参考文献 72被引用数 8

ひとこと要約

本稿は、量子ネットワークにおける基本的リンク生成を、量子部分的に観測可能なマルコフ決定過程（POMDP）として定式化し、動的計画法を用いた方策最適化を可能にする。メモリカットオフ方策の詳細な分析を行い、任意のノイズモデル下での時間発展する量子状態およびフィデリティを導出するとともに、完全な量子ネットワークプロトコルの強化学習の基盤を構築する。

ABSTRACT

Protocols in a quantum network involve multiple parties performing actions on their quantum systems in a carefully orchestrated manner over time in order to accomplish a given task. This sequence of actions over time is often referred to as a strategy, or policy. In this work, we consider policy optimization in a quantum network. Specifically, as a first step towards developing full-fledged quantum network protocols, we consider policies for generating elementary links in a quantum network. We start by casting elementary link generation as a quantum partially observable Markov decision process, as defined in [Phys. Rev. A 90, 032311 (2014)]. Then, we analyze in detail the commonly used memory cutoff policy. Under this policy, once an elementary link is established it is kept in quantum memory for some amount $t^{\star}$ of time, called the cutoff, before it is discarded and the elementary link generation is reattempted. For this policy, we determine the average quantum state of the elementary link as a function of time for an arbitrary number of nodes in the link, as well as the average fidelity of the link as a function of time for any noise model for the quantum memories. Finally, we show how optimal policies can be obtained in the finite-horizon setting using dynamic programming. By casting elementary link generation as a quantum decision process, this work goes beyond the analytical results derived here by providing the theoretical framework for performing reinforcement learning of practical quantum network protocols.

研究の動機と目的

• 量子ネットワークにおける方策最適化の理論的枠組みを構築すること、特に基本的リンク生成を出発点として。
• 体系的な方策設計を可能にするために、基本的リンク生成を量子部分的に観測可能なマルコフ決定過程（POMDP）としてモデル化すること。
• 広く用いられるメモリカットオフ方策を分析し、一般のノイズモデル下での時間に依存する量子状態およびフィデリティを同定すること。
• 動的計画法を用いて、有限ホライズン設定における最適方策を計算する方法を示すこと。
• 実用的な量子ネットワークプロトコルの設計に向けた強化学習の応用の基盤を築くこと。

提案手法

• 基本的リンク生成を量子POMDPとして形式化し、量子ネットワークにおける意思決定理論的手法の適用を可能にする。
• リンクが固定時間 $ t^\star $ 経過後に破棄され、再試行されるというメモリカットオフ方策を定義する。
• リンクの時間発展する密度行列を時間およびノード数の関数として導出する。
• 任意の量子メモリノイズモデルに対して、リンクの平均フィデリティを時間の関数として計算する。
• 有限ホライズンのシナリオにおける最適方策の特定に、動的計画法を適用する。
• 複雑な量子ネットワークプロトコルのための強化学習を支援する理論的枠組みを提供する。

実験結果

リサーチクエスチョン

• RQ1 マルチノードネットワークにおけるメモリカットオフ方策下で、基本的リンクの量子状態は時間とともにどのように変化するか？
• RQ2 一般の量子メモリノイズモデル下で、基本的リンクの時間に依存するフィデリティは何か？
• RQ3 有限ホライズン設定における基本的リンク生成の最適方策はどのように計算できるか？
• RQ4 状態の時間発展およびフィデリティの減衰という観点から、メモリカットオフ方策の解析的性質は何か？
• RQ5 量子POMDPフレームワークは、量子ネットワークプロトコルの強化学習をどのように可能にするか？

主な発見

• メモリカットオフ方策下での基本的リンクの平均量子状態が、時間およびリンクに含まれるノード数の関数として導出された。
• 任意の量子メモリノイズモデルに対して、リンクの平均フィデリティが時間の関数として解析的に表現された。
• メモリカットオフ方策の性能は明確に定量化可能であり、他の方策との比較が可能となった。
• 有限ホライズン設定における最適方策は、動的計画法を用いて体系的に計算可能となった。
• 量子POMDPフレームワークにより、強化学習手法を量子ネットワークプロトコル設計に拡張することが可能となった。
• 本研究は、完全な量子ネットワークプロトコルの学習と最適化のための基盤的理論的枠組みを確立した。