[论文解读] A Dynamic Programming Approach to Finite-horizon Coherent Quantum LQG Control

Igor G. Vladimirov, Ian R. Petersen|arXiv (Cornell University)|May 9, 2011

Quantum Information and Cryptography被引用 6

一句话总结

本文通过将有限时域一致量子LQG控制问题重新表述为由微分Lyapunov方程驱动的协方差驱动系统的确定性最优控制问题，提出了一种动态规划方法。关键贡献在于利用辛不变性与庞特里亚金最小值原理推导出最优控制器增益矩阵的代数方程，建立了准分离性质，作为经典LQG分离原理的量子类比。

ABSTRACT

The paper is concerned with the coherent quantum Linear Quadratic Gaussian (CQLQG) control problem for time-varying quantum plants governed by linear quantum stochastic differential equations over a bounded time interval. A controller is sought among quantum linear systems satisfying physical realizability (PR) conditions. The latter describe the dynamic equivalence of the system to an open quantum harmonic oscillator and relate its state-space matrices to the free Hamiltonian, coupling and scattering operators of the oscillator. Using the Hamiltonian parameterization of PR controllers, the CQLQG problem is recast into an optimal control problem for a deterministic system governed by a differential Lyapunov equation. The state of this subsidiary system is the symmetric part of the quantum covariance matrix of the plant-controller state vector. The resulting covariance control problem is treated using dynamic programming and Pontryagin's minimum principle. The associated Hamilton-Jacobi-Bellman equation for the minimum cost function involves Frechet differentiation with respect to matrix-valued variables. The gain matrices of the CQLQG optimal controller are shown to satisfy a quasi-separation property as a weaker quantum counterpart of the filtering/control decomposition of classical LQG controllers.

研究动机与目标

• 解决由线性QSDEs描述的时变量子系统所面临的有限时域一致量子LQG（CQLQG）控制问题。
• 开发一种尊重物理可实现性（PR）约束的量子控制器解耦框架。
• 通过哈密顿参数化与辛不变性，克服量子LQG控制中由PR条件引入的耦合性。
• 通过最优控制器结构中的准分离性质，建立经典LQG分离原理的量子类比。
• 为控制最优增益的两个非线性耦合LyapunovODE构成的两点边值问题建模。

提出的方法

• 将CQLQG问题重新表述为子系统上的确定性最优控制问题，其状态为被控系统-控制器状态向量协方差矩阵的对称部分。
• 通过与开放量子谐振子的自由哈密顿量、耦合及散射算子对应的哈密顿矩阵对控制器进行参数化，确保物理可实现性。
• 应用动态规划与庞特里亚金最小值原理，推导涉及矩阵变量的弗雷chet微分的哈密顿-雅可比-贝尔曼方程。
• 将子系统的协态识别为闭环系统的可观测性Gramian，从而在最优控制与系统Gramian之间建立联系。
• 确立最小代价函数的辛不变性，将哈密顿量最小化问题简化为两个独立的二次优化问题。
• 利用闭环系统的Gramian与Hankel矩阵，以闭式形式推导出最优增益矩阵，从而导出两个耦合Lyapunov方程的两点边值问题。

实验结果

研究问题

• RQ1 如何在物理可实现性约束下，将有限时域一致量子LQG控制问题重新表述为确定性最优控制问题？
• RQ2 辛不变性在简化最优量子控制器结构中起到何种作用？
• RQ3 能否建立经典LQG分离原理的量子类比？若能，其形式为何？
• RQ4 最优控制器增益矩阵如何依赖于闭环系统的可观测性与可控制性Gramian？
• RQ5 支配最优控制器的Lyapunov方程的两点边值问题具有何种结构？

主要发现

• 最优控制器增益矩阵通过闭环系统的可观测性与可控制性Gramian以闭式形式推导得出，表达为特殊自伴算子的矩阵逆形式。
• 最小代价函数表现出辛不变性，使得哈密顿量最小化可分解为两个独立的二次优化问题。
• 最优控制器增益满足准分离性质，代表经典LQG滤波/控制分解在量子领域的弱化版本。
• 无论自由参数 $ R_t $ 如何选择，系统动力学始终保持Hankel矩阵 $ H_t^{22} $ 的斜哈密顿结构，对所有 $ t < T $ 成立。
• 所得控制器设计导致两个非线性耦合的微分Lyapunov方程的两点边值问题，其中 $ R_t $ 作为自由参数满足边界条件。
• 由于缺乏关于最优 $ R_t $ 的方程，表明解结构受边界条件约束而非 $ R_t $ 的最优性，因此其确定仍为开放问题。