[论文解读] Reachability Analysis of Quantum Markov Decision Processes

Shenggang Ying, Mingsheng Ying|arXiv (Cornell University)|Jun 24, 2014

Quantum Computing Algorithms and Architecture参考文献 31被引用 9

一句话总结

本文引入了量子马尔可夫决策过程（qMDPs）作为非确定性和并发量子程序的语义模型，通过使用超算子和基于测量的调度器，将经典MDP扩展至量子系统。研究建立了有限时域与无限时域可达性问题的可判定性与复杂度，证明了在qMDPs中最优调度器可能不存在，并提出了计算上确界可达概率的算法。

ABSTRACT

We introduce the notion of quantum Markov decision process (qMDP) as a semantic model of nondeterministic and concurrent quantum programs. It is shown by examples that qMDPs can be used in analysis of quantum algorithms and protocols. We study various reachability problems of qMDPs both for the finite-horizon and for the infinite-horizon. The (un)decidability and complexity of these problems are settled, or their relationships with certain long-standing open problems are clarified. We also develop an algorithm for finding optimal scheduler that attains the supremum reachability probability.

研究动机与目标

• 通过量子马尔可夫决策过程（qMDPs）的形式化方法，为并发且非确定性的量子程序建立语义模型。
• 研究qMDPs的可达性分析，重点关注有限时域与无限时域问题。
• 确定qMDPs中可达性问题的可判定性与计算复杂度。
• 开发一种算法，用于计算所有调度器下上确界可达概率。
• 阐明经典MDP与qMDP之间的差异，特别是最优调度器的存在性问题。

提出的方法

• 将qMDPs形式化为经典MDP的量子推广，用希尔伯特空间替代离散状态，用超算子替代动作。
• 将调度器建模为基于系统演化过程中测量结果选择动作的函数，而非基于状态信息。
• 将可达概率定义为在给定调度器下达到目标子空间B的概率，以及在所有调度器上取上确界的可达概率。
• 使用矩阵范数与谱半径分析来表征状态演化收敛性，特别是超算子复合的极限行为。
• 应用矩阵理论中的结果，包括联合谱半径与DLS（动力学李雅普诺夫稳定性）条件，以分析长期行为。
• 证明上确界可达概率为1当且仅当沿调度器路径的超算子复合在范数下趋于零，从而将可达性与算子收敛性联系起来。

实验结果

研究问题

• RQ1 qMDPs的有限时域可达性问题是否可判定？其计算复杂度如何？
• RQ2 在qMDP中，是否总存在一个最优调度器，使得对给定初始状态可实现上确界可达概率？
• RQ3 qMDPs中无限时域可达性问题的可判定性状态如何？
• RQ4 在可达性与收敛性方面，qMDPs的行为与经典MDP及量子马尔可夫链有何不同？
• RQ5 上确界可达概率能否通过算法计算？此类算法的时间复杂度如何？

主要发现

• qMDPs的有限时域可达性问题具有可判定性，且可在多项式时间内求解。
• 一般情况下，qMDPs的无限时域可达性问题是不可判定的，但在与超算子集合联合谱半径相关的某些条件下是可判定的。
• 存在某些qMDPs，即使对固定初始状态，也不存在任何调度器能实现上确界可达概率，这与经典MDP不同。
• 上确界可达概率为1当且仅当沿调度器路径的超算子复合在范数下收敛于零。
• 判断一组超算子的联合谱半径是否小于1的问题，等价于检查几乎必然可达性，且该问题可通过DLS条件判定。
• 开发了一种算法，通过分析迭代超算子的极限行为来计算上确界可达概率。