[论文解读] Model-Preserving Sensitivity Analysis for Families of Gaussian Distributions

Christiane Goergen, Manuele Leonelli|arXiv (Cornell University)|Sep 27, 2018

Bayesian Modeling and Causal Inference参考文献 22被引用 4

一句话总结

本文提出了一种针对高斯图模型的模型保持型敏感性分析方法，通过使用乘法性、代数约束的协方差参数共变关系，确保对协方差参数的扰动不会破坏原始的条件独立结构。该方法在保持图模型有效性的同时，利用Kullback-Leibler散度量化分布变化，表现出与标准方法相当的鲁棒性，且条件独立关系更加一致。

ABSTRACT

The accuracy of probability distributions inferred using machine-learning algorithms heavily depends on data availability and quality. In practical applications it is therefore fundamental to investigate the robustness of a statistical model to misspecification of some of its underlying probabilities. In the context of graphical models, investigations of robustness fall under the notion of sensitivity analyses. These analyses consist in varying some of the model's probabilities or parameters and then assessing how far apart the original and the varied distributions are. However, for Gaussian graphical models, such variations usually make the original graph an incoherent representation of the model's conditional independence structure. Here we develop an approach to sensitivity analysis which guarantees the original graph remains valid after any probability variation and we quantify the effect of such variations using different measures. To achieve this we take advantage of algebraic techniques to both concisely represent conditional independence and to provide a straightforward way of checking the validity of such relationships. Our methods are demonstrated to be robust and comparable to standard ones, which break the conditional independence structure of the model, using an artificial example and a medical real-world application.

研究动机与目标

• 解决标准高斯敏感性分析中协方差矩阵扰动会破坏原始条件独立结构的局限性。
• 开发一种在参数变化后仍能保持图模型结构的敏感性分析框架。
• 确保所有扰动后的分布均为有效高斯模型，且与原始模型具有相同的条件独立关系。
• 为离散贝叶斯网络中的比例共变关系提供连续类比，保持模型一致性。
• 通过人工数据和真实医学案例，展示该方法的鲁棒性和实际应用价值。

提出的方法

• 提出对协方差矩阵元素进行乘法性扰动而非加法性扰动的模型保持型扰动方法。
• 使用代数技术通过协方差矩阵中特定子式的消失来表示和验证条件独立结构。
• 通过强制额外参数的共变关系，确保扰动后原始图结构得以保持。
• 实现五种共变方案：完整、部分、基于行、基于列以及标准变化，每种方案均确保结果矩阵仍为有效协方差矩阵。
• 利用Kullback-Leibler散度和原始分布与扰动后分布之间的Frobenius范数来量化扰动的影响。
• 利用Schur积和半正定性检验来验证结果协方差矩阵的有效性。

实验结果

研究问题

• RQ1 我们能否在不破坏原始条件独立结构的前提下，对高斯图模型进行敏感性分析？
• RQ2 与标准加法扰动相比，模型保持型扰动在KL散度和模型一致性方面表现如何？
• RQ3 哪种共变方案（如基于行、基于列）能产生最稳定且具代表性的敏感性结果？
• RQ4 在何种条件下，经过模型保持型扰动后的协方差矩阵可保证始终为半正定？
• RQ5 与标准敏感性分析相比，该方法在真实世界应用中的表现如何？

主要发现

• 模型保持型敏感性分析在扰动后仍能保持原始图结构，确保图始终忠实反映模型的条件独立结构。
• 在恶病质患者网络中，传统方法产生的KL散度显著小于模型保持型方法，但后者在不同参数下表现出更一致的结果。
• 在四组案例中的两组，基于行的模型保持型变化导致KL散度显著减小，表明其对某些协方差更敏感。
• 对于谷氨酰胺/甜菜碱协方差，基于行的模型保持型方案的Frobenius范数几乎与标准方法相等，表明其性能优异。
• 完整模型保持型共变方案始终生成半正定矩阵，而部分或基于行/列的方案则需要显式检查。
• 该方法实现了具有一致图表示的鲁棒敏感性分析，为标准方法提供了一种可行替代方案，避免了对模型结构的破坏。