[论文解读] A Mutually-Dependent Hadamard Kernel for Modelling Latent Variable Couplings

Sami Remes, Markus Heinonen+1 more|arXiv (Cornell University)|Feb 27, 2017

Gaussian Processes and Bayesian Inference参考文献 34被引用 4

一句话总结

该论文提出了一种新颖的相互依赖的Hadamard核，用于在多输出回归与分类中建模潜在高斯过程之间的输入特定相关性。通过利用Wishart-Gibbs结构将输入相关的信号方差与输入相关的交叉协方差耦合，潜在相关性高斯过程（LCGP）模型在实现最先进性能的同时，揭示了可解释的潜在过程耦合关系，在EEG数据中，脑电信号相关性与P300响应自然浮现。

ABSTRACT

We introduce a novel kernel that models input-dependent couplings across multiple latent processes. The pairwise joint kernel measures covariance along inputs and across different latent signals in a mutually-dependent fashion. A latent correlation Gaussian process (LCGP) model combines these non-stationary latent components into multiple outputs by an input-dependent mixing matrix. Probit classification and support for multiple observation sets are derived by Variational Bayesian inference. Results on several datasets indicate that the LCGP model can recover the correlations between latent signals while simultaneously achieving state-of-the-art performance. We highlight the latent covariances with an EEG classification dataset where latent brain processes and their couplings simultaneously emerge from the model.

研究动机与目标

• 在多输出高斯过程模型中建模多个潜在过程之间的输入依赖性耦合。
• 开发一种非平稳、结构化的交叉协方差核，以捕捉输入与潜在信号之间的相互依赖关系。
• 通过引入具有潜在相关性结构的LCGP框架，扩展GPRN框架，以提升泛化能力与可解释性。
• 实现具有共享潜在相关性的多观测设置下的可扩展推理。
• 展示模型在恢复真实潜在相关性以及在回归与分类任务中实现最先进性能方面的能力。

提出的方法

• 提出一种相互依赖的Hadamard核，结合非平稳输入核与基于Wishart的交叉协方差核，用于潜在信号建模。
• 采用潜在相关性高斯过程（LCGP）框架，其中输出是通过输入相关混合矩阵B(x)对Q个潜在信号的线性组合。
• 利用Wishart-Gibbs模型参数化潜在信号协方差结构，实现输入相关的信号方差与交叉协方差。
• 推导出使用白化梯度的变分贝叶斯推理方法，以实现在多个观测集上的可扩展训练。
• 通过在统一的概率框架中建模潜在变量与输出似然，支持回归与Probit分类。
• 将模型应用于多 subject 的EEG数据，利用共享潜在相关性对个体 subject 模型进行正则化。

实验结果

研究问题

• RQ1 非平稳、输入依赖的交叉协方差核是否能有效建模多任务学习中潜在过程的耦合？
• RQ2 与独立核假设相比，输入与潜在信号核之间的相互依赖性是否能提升模型性能与可解释性？
• RQ3 在已知真实值的模拟数据中，该模型能否恢复真实的潜在信号相关性？
• RQ4 LCGP在具有共享潜在相关性的多观测设置下表现如何？
• RQ5 该模型能否在EEG分类中揭示生物学上有意义的脑电信号动态，如P300响应？

主要发现

• LCGP模型在回归与分类任务中均实现了最先进性能，在EEG数据上显著优于正则化LDA基线（p < 0.05）。
• 在EEG数据集中，模型成功恢复了生物学上合理的潜在信号动态，包括在第三潜在信号中出现的类似P300的响应，峰值出现在刺激后约300ms。
• 在模拟研究中，潜在信号协方差被准确学习，Fisher组合p值表明模型显著优于随机协方差采样（p < 0.05）。
• 模型揭示了结构化的耦合模式：第一与第三信号表现出单调递增的协方差，而第一与第二信号则表现出周期性协方差，与神经动力学一致。
• 分类器权重与脑图显示，所学习的潜在成分在EEG电极间具有判别性与空间一致性。
• 共享潜在相关性结构在多 subject EEG 分析中有效正则化了个体观测模型，提升了泛化能力。