[论文解读] Learning and Inference in Hilbert Space with Quantum Graphical Models

Siddarth Srinivasan, Carlton Downey+1 more|arXiv (Cornell University)|Jan 1, 2018

Bayesian Modeling and Causal Inference被引用 11

一句话总结

本文通过统一量子图模型（QGMs）与希尔伯特空间嵌入（HSEs），提出了一种隐量子马尔可夫模型的希尔伯特空间嵌入（HSE-HQMM），表明QGM的求和规则与贝叶斯规则分别对应于HSE中的核求和规则与Nadaraya-Watson回归。该方法实现了对连续特征的非参数化、概率化建模，并在多个数据集上表现出与LSTM和PSRNN相当的性能。

ABSTRACT

Quantum Graphical Models (QGMs) generalize classical graphical models by adopting the formalism for reasoning about uncertainty from quantum mechanics. Unlike classical graphical models, QGMs represent uncertainty with density matrices in complex Hilbert spaces. Hilbert space embeddings (HSEs) also generalize Bayesian inference in Hilbert spaces. We investigate the link between QGMs and HSEs and show that the sum rule and Bayes rule for QGMs are equivalent to the kernel sum rule in HSEs and a special case of Nadaraya-Watson kernel regression, respectively. We show that these operations can be kernelized, and use these insights to propose a Hilbert Space Embedding of Hidden Quantum Markov Models (HSE-HQMM) to model dynamics. We present experimental results showing that HSE-HQMMs are competitive with state-of-the-art models like LSTMs and PSRNNs on several datasets, while also providing a nonparametric method for maintaining a probability distribution over continuous-valued features.

研究动机与目标

• 为了弥合量子图模型（QGMs）与希尔伯特空间嵌入（HSEs）之间的鸿沟，以提升不确定性推理能力。
• 为了形式化QGM推理规则与HSE中基于核的操作之间的等价性。
• 为了利用嵌入的量子马尔可夫动力学，构建一个针对连续值特征的非参数化、概率化模型。
• 为了证明所提出的HSE-HQMM模型在性能上可与SOTA模型（如LSTM和PSRNN）相媲美。

提出的方法

• 建立了QGM求和规则与贝叶斯规则同HSE中核求和规则与Nadaraya-Watson回归之间的正式联系。
• 利用希尔伯特空间嵌入，推导出QGM推理规则的核化版本。
• 提出HSE-HQMM作为非参数化模型，通过核化动力学在希尔伯特空间中保持对连续特征的概率分布。
• 采用核函数在希尔伯特空间中表示与更新密度矩阵，实现灵活且数据驱动的推理。
• 利用核求和规则计算边缘分布，利用Nadaraya-Watson回归实现嵌入空间中的条件推理。
• 将所得框架应用于建模序列动态，其方式可泛化经典隐马尔可夫模型。

实验结果

研究问题

• RQ1 量子图模型中的推理规则与希尔伯特空间嵌入中的操作之间有何关系？
• RQ2 QGM的求和规则与贝叶斯规则能否在HSE中重新表述为基于核的操作？
• RQ3 能否通过结合QGMs与HSEs，构建一个针对连续特征的非参数化、概率化模型？
• RQ4 所提出的HSE-HQMM在性能上与SOTA模型（如LSTM和PSRNN）相比如何？
• RQ5 核化HSE-HQMM能否在保持对连续观测值不确定性的同时，有效建模序列动态？

主要发现

• QGM中的求和规则在数学上等价于HSE中的核求和规则，从而实现在希尔伯特空间中的非参数化边缘化。
• QGM中的贝叶斯推理对应于Nadaraya-Watson核回归的一个特例，使得可通过核方法实现条件密度估计。
• 所提出的HSE-HQMM模型成功地以非参数化方式在连续值特征上保持了概率分布。
• HSE-HQMM在多个数据集上表现出具有竞争力的性能，其表现优于或至少可与SOTA模型（如LSTM和PSRNN）相媲美。
• 核化公式使得无需对底层分布做参数假设，即可实现灵活且可扩展的推理。