[论文解读] Minimum Relative Entropy State Transitions in Linear Stochastic Systems: the Continuous Time Case

Igor G. Vladimirov, Ian R. Petersen|arXiv (Cornell University)|Aug 20, 2012

Advanced Thermodynamics and Statistical Mechanics参考文献 16被引用 10

一句话总结

本文通过推导控制最小相对熵供给的哈密顿-雅可比方程的闭式光滑解，解决了线性随机系统中的连续时间薛定谔桥问题。利用迹解析函数和矩阵变量分离法，将问题分解为均值与协方差分量，得到了在有限时间范围内在高斯状态分布之间过渡所需最小噪声相对熵的显式公式。

ABSTRACT

This paper is concerned with a dissipativity theory for dynamical systems governed by linear Ito stochastic differential equations driven by random noise with an uncertain drift. The deviation of the noise from a standard Wiener process in the nominal model is quantified by relative entropy. We discuss a dissipation inequality for the noise relative entropy supply. The problem of minimizing the supply required to drive the system between given Gaussian state distributions over a specified time horizon is considered. This problem, known in the literature as the Schroedinger bridge, was treated previously in the context of reciprocal processes. A closed-form smooth solution is obtained for a Hamilton-Jacobi equation for the minimum required relative entropy supply by using nonlinear algebraic techniques.

研究动机与目标

• 为具有不确定噪声漂移的线性伊藤随机系统建立耗散性理论，其量化指标为相对熵。
• 求解连续时间下高斯初始与终端状态分布的薛定谔桥问题。
• 推导最小相对熵供给的哈密顿-雅可比方程的闭式、光滑解。
• 通过非线性代数技术与迹解析函数，克服矩阵值PDE中的非对易性问题。
• 建立均值-协方差分离原理，将熵供给分解为独立的均值与协方差贡献。

提出的方法

• 采用耗散性框架，其中噪声的相对熵作为随机供给，状态相对熵作为存储函数。
• 基于矩阵迹解析函数的假设，应用校正方案求解非线性哈密顿-雅可比方程。
• 采用矩阵形式的变量分离法，将协方差HJE标量化，从而解决非对易性问题。
• 引入双线性相互作用规则以替代非线性PDE中的叠加原理。
• 通过求解校正函数χ(ω)的常微分方程获得解，特定分支的选择以满足边界条件。
• 将名义均值与协方差半群与有限时域可控制性Gramian结合，计算最终熵供给。

实验结果

研究问题

• RQ1 在连续时间下，驱动线性随机系统在两个给定高斯状态分布之间过渡，所需的最小相对熵供给是多少？
• RQ2 如何克服矩阵值哈密顿-雅可比方程中的非对易性，以获得闭式解？
• RQ3 能否使用代数技术而非积分方程，对线性SDE的薛定谔桥问题进行闭式求解？
• RQ4 迹解析函数χ(ω)在构造HJE解的过程中起什么作用？
• RQ5 均值-协方差分离原理如何将熵供给分解为独立分量？

主要发现

• 通过迹解析函数与矩阵变量分离法，推导出协方差哈密顿-雅可比方程的闭式、光滑解。
• 解由公式 $ S_T(\Sigma,\Theta) = \ln\det(2U_T(\Sigma)) + \mathrm{Tr}(U_T(\Sigma) + V_T(\Theta) + \chi(U_T(\Sigma)V_T(\Theta))) $ 显式给出，其中 $ \chi(\omega) = -\sqrt{1+4\omega} - \ln(\sqrt{1+4\omega}-1) $。
• 状态PDF过渡问题的最小相对熵供给由公式(91)给出，通过名义半群与可控制性Gramian结合均值与协方差项。
• 解满足边界条件 $ S_T(C_T^{-1}(\Theta), \Theta) = 0 $ 对所有名义可达的 $ \Theta \succ \Gamma_T $ 成立，确保终端状态分布正确。
• 该方法通过矩阵泛函微积分将问题转化为类似标量形式，成功克服了矩阵PDE中的非对易性。
• 最终供给公式的结构与离散时间情况一致，但已适配于连续时间线性SDE，包含适当的半群与Gramian计算。