[论文解读] Causal Compression

Aleksander Wieczorek, Volker Röth|arXiv (Cornell University)|Nov 1, 2016

Fault Detection and Control Systems被引用 5

一句话总结

本文提出因果压缩（causal compression）方法，通过最大化定向信息以识别具有输入、输出或瞬时因果流的时间点，从而在时间序列数据中发现因果关系。其主要贡献在于证明因果性估计仅依赖于数据的依存结构（copula），使其对边缘分布具有鲁棒性，并实现稀疏、可解释的因果分割与二分图恢复。

ABSTRACT

We propose a new method of discovering causal relationships in temporal data based on the notion of causal compression. To this end, we adopt the Pearlian graph setting and the directed information as an information theoretic tool for quantifying causality. We introduce chain rule for directed information and use it to motivate causal sparsity. We show two applications of the proposed method: causal time series segmentation which selects time points capturing the incoming and outgoing causal flow between time points belonging to different signals, and causal bipartite graph recovery. We prove that modelling of causality in the adopted set-up only requires estimating the copula density of the data distribution and thus does not depend on its marginals. We evaluate the method on time resolved gene expression data.

研究动机与目标

• 开发一种无需完整因果图估计即可发现时间序列中因果关系的方法。
• 通过聚焦于承载因果影响的时间点，解决时间序列间因果流识别的挑战。
• 证明因果建模仅依赖于数据的依存结构（copula），而非其边缘分布，从而实现鲁棒推断。
• 基于压缩选择提出一种因果时间序列分割与二分图恢复的系统性方法。
• 形式化基于定向信息与稀疏性的因果压缩原理，并通过定向信息的链式法则提供理论支持。

提出的方法

• 提出一种因果压缩原则，通过选择在时间序列间最大化定向信息流的时间点，将因果性建模为压缩问题。
• 引入时间序列中定向信息的链式法则，实现因果流在时间点上的可分解性。
• 采用稀疏性约束，确保仅选择有意义的因果连接，将因果压缩与因果稀疏性关联起来。
• 采用约束优化框架计算时间序列的因果稀疏表示，平衡信息流与模型简洁性。
• 推导出基于依存结构（copula）的定向信息公式，证明因果性估计仅依赖于依存结构密度，而非边缘分布。
• 将该方法应用于两项任务：因果时间序列分割（识别输入、输出、瞬时流节点）与因果二分图恢复。

实验结果

研究问题

• RQ1 是否可以通过最大化定向信息流而不进行完整因果图推断来发现时间序列中的因果关系？
• RQ2 如何通过定向信息的链式法则与稀疏性约束来形式化因果压缩？
• RQ3 因果性估计在多大程度上依赖于数据的依存结构（copula）而非其边缘分布？
• RQ4 因果压缩能否以高精度将时间序列分割为因果角色（输入、输出、瞬时）？
• RQ5 该方法能否恢复两个时间序列之间的因果二分图，准确区分有向依赖与瞬时耦合？

主要发现

• 所提出的因果压缩方法在合成数据上成功恢复了因果分割与二分图，正确识别了输入、输出与瞬时流节点。
• 该方法在合成数据上实现了准确的因果二分图恢复，正确识别了有向边与瞬时耦合。
• 因果压缩原理在理论上得到定向信息链式法则的支持，并通过证明因果压缩蕴含因果结构的稀疏性获得理论依据。
• 理论分析表明，定向信息仅依赖于依存结构密度的微熵，意味着因果性估计对边缘分布具有不变性。
• 在HCV患者的时间分辨基因表达数据中，该方法揭示：显著应答者在治疗前表现出IFIT3对STAT1的更强因果影响，而低应答者则保留在基因间更强的瞬时耦合。
• 在显著应答者中，治疗破坏了STAT1-IFIT3的基线相互作用，提示治疗反应机制与治疗前的因果结构密切相关。