[论文解读] Bayesian Generalized Probability Calculus for Density Matrices

Manfred K. Warmuth, Dima Kuzmin|ArXiv.org|Jan 9, 2009

Blind Source Separation Techniques参考文献 19被引用 5

一句话总结

本文提出了一种针对密度矩阵（迹为一的对称正定矩阵）的贝叶斯广义概率演算，将经典概率论扩展至类似量子的态。该理论利用量子相对熵（Umegaki散度）定义联合、条件概率及贝叶斯规则，推广了经典贝叶斯更新，在矩阵为对角矩阵时仍保持标准情形。

ABSTRACT

One of the main concepts in quantum physics is a density matrix, which is a symmetric positive definite matrix of trace one. Finite probability distributions can be seen as a special case when the density matrix is restricted to be diagonal. We develop a probability calculus based on these more general distributions that includes definitions of joints, conditionals and formulas that relate these, including analogs of the Theorem of Total Probability and various Bayes rules for the calculation of posterior density matrices. The resulting calculus parallels the familiar "conventional" probability calculus and always retains the latter as a special case when all matrices are diagonal. We motivate both the conventional and the generalized Bayes rule with a minimum relative entropy principle, where the Kullbach-Leibler version gives the conventional Bayes rule and Umegaki's quantum relative entropy the new Bayes rule for density matrices. Whereas the conventional Bayesian methods maintain uncertainty about which model has the highest data likelihood, the generalization maintains uncertainty about which unit direction has the largest variance. Surprisingly the bounds also generalize: as in the conventional setting we upper bound the negative log likelihood of the data by the negative log likelihood of the MAP estimator.

研究动机与目标

• 将贝叶斯概率理论从经典离散分布推广至表示混合量子态的密度矩阵。
• 定义与经典条件概率相推广的联合与条件密度矩阵的自洽概念。
• 基于Umegaki的量子相对熵推导出量子贝叶斯规则，推广经典贝叶斯规则中使用的Kullback-Leibler散度版本。
• 在矩阵空间中建立连续贝叶斯更新的微分方程框架，类比于经典基于得分的更新。
• 证明当密度矩阵为对角矩阵时，广义演算可退化为经典概率作为特例。

提出的方法

• 提出一种广义概率演算，其中基本事件为射影（秩一投影），广义概率由 $ \mathbf{u}^T \mathbf{W} \mathbf{u} $ 给出，其中 $ \mathbf{W} $ 为密度矩阵。
• 利用矩阵运算定义联合与条件密度矩阵，联合 $ \mathbf{D}(\mathbb{A}, \mathbb{B}) $ 与条件 $ \mathbf{D}(\mathbb{A}|\mathbb{B}) $ 通过 $ \mathbf{D}(\mathbb{A}|\mathbb{B}) \odot (\mathbf{I}_\mathbb{A} \otimes \mathbf{D}(\mathbb{B})) $ 关联。
• 基于Umegaki的量子相对熵作为散度度量，推导广义贝叶斯规则，替代经典情形中的Kullback-Leibler散度。
• 引入一个用于连续贝叶斯更新的微分方程：$ \frac{\partial \mathbf{log} \mathbf{D}(\mathbb{M}|t)}{\partial t} = \mathbf{log} \mathbf{D}(\bm{y}|\mathbb{M}) - \mathrm{tr}(\mathbf{D}(\mathbb{M}|t) \mathbf{log} \mathbf{D}(\bm{y}|\mathbb{M})) $，其解涉及矩阵指数与对数运算。
• 使用 $ \odot $（Hadamard积）及矩阵对数/指数运算表达后验更新，确保迹归一化。
• 通过最小相对熵原理动机广义贝叶斯规则，其中Umegaki散度导出量子更新规则。

实验结果

研究问题

• RQ1 如何将贝叶斯推断从经典概率分布推广至表示混合量子态的密度矩阵？
• RQ2 在密度矩阵空间中，条件概率与联合分布的适当类比是什么？
• RQ3 基于Umegaki量子相对熵的广义贝叶斯规则与经典Kullback-Leibler版本有何不同？
• RQ4 是否可在密度矩阵空间中将连续贝叶斯更新表述为微分方程，其解为何？
• RQ5 当密度矩阵为对角矩阵时，广义演算是否保持经典贝叶斯框架作为特例？

主要发现

• 广义概率演算包含全概率定理的类比及多种贝叶斯规则，当所有矩阵为对角矩阵时可恢复经典情形。
• 广义贝叶斯规则通过最小化Umegaki的量子相对熵推导得出，为经典Kullback-Leibler最小化提供量子类比。
• 在矩阵空间中贝叶斯更新的微分方程框架导出闭式解，涉及矩阵对数与指数：$ \mathbf{D}(\mathbb{M}|t) = \frac{\exp(\log \mathbf{D}(\mathbb{M}|0) + t \log \mathbf{D}(\bm{y}|\mathbb{M}))}{\mathrm{tr}(\cdots)} $。
• 更新规则非幺正，且不保持特征子空间，反映出不确定性现在是关于最大方差方向，而非关于模型本身。
• 数据的负对数似然上界由最大后验估计（MAP）估计器的负对数似然给出，推广了经典结果。
• 该演算允许在特征值固定时，通过酉共轭实现从一个纯态到另一个纯态的非退化路径，揭示了比经典概率更丰富的几何结构。