[论文解读] Discovering Nonlinear Relations with Minimum Predictive Information Regularization

Tailin Wu, Thomas M. Breuel+2 more|arXiv (Cornell University)|Jan 7, 2020

Time Series Analysis and Forecasting参考文献 47被引用 14

一句话总结

本文提出了一种名为最小预测信息正则化（MPIR）的新型深度学习方法，通过最小化预测值与输入之间的互信息，从观测时间序列中发现非线性、方向性的因果关系。该方法在合成数据、视频游戏和真实生理数据集上均优于现有方法，能够高效识别真实因果结构，无需联合密度估计，通过神经网络和可学习输入噪声建模复杂非线性依赖关系。

ABSTRACT

Identifying the underlying directional relations from observational time series with nonlinear interactions and complex relational structures is key to a wide range of applications, yet remains a hard problem. In this work, we introduce a novel minimum predictive information regularization method to infer directional relations from time series, allowing deep learning models to discover nonlinear relations. Our method substantially outperforms other methods for learning nonlinear relations in synthetic datasets, and discovers the directional relations in a video game environment and a heart-rate vs. breath-rate dataset.

研究动机与目标

• 解决在具有复杂未知函数形式的观测时间序列中发现方向性非线性因果关系的挑战。
• 克服传统格兰杰因果关系和转移熵方法的局限性，实现在高维时间序列中的可扩展、高效的因果发现。
• 开发一种能够识别直接因果关系而非虚假间接关联的方法，即使在存在混淆变量的情况下亦能有效识别。
• 提供一种可微分、端到端的框架，与深度神经网络兼容，以建模非线性动态。
• 实现对输入缩放和模型重参数化的不变性，支持稳健的因果推断。

提出的方法

• 提出最小预测信息正则化（MPIR）目标函数，通过最小化在其他变量条件下的未来预测值与输入时间序列之间的互信息。
• 采用可学习输入噪声机制对预测模型进行正则化，使网络能够在保持预测能力的同时学习非线性函数关系。
• 使用神经网络作为函数逼近器，对从历史时间序列到未来预测的非线性映射进行建模，实现对复杂动态的通用逼近。
• 将最小预测信息定义为时间序列对之间方向性预测强度的度量，以一种对输入缩放和模型重参数化不变的方式量化因果影响。
• 通过训练N个独立模型（每个目标时间序列一个）来解决因果发现问题，避免对所有N个时间序列进行联合密度估计。
• 对最小预测信息应用统计检验，以评估推断因果关系的显著性，支持对发现结构的假设检验。

实验结果

研究问题

• RQ1 基于深度学习的方法是否能够在不显式指定函数形式的情况下，发现高维时间序列中的非线性因果关系？
• RQ2 与格兰杰因果关系、转移熵及基于评分的方法相比，所提出的MPIR方法在准确性和可扩展性方面表现如何？
• RQ3 该方法是否能有效区分复杂非线性系统中的直接因果关系与间接或虚假关联？
• RQ4 在真实世界数据中，该方法对噪声以及时间序列长度和采样率变化的鲁棒性如何？
• RQ5 该方法是否能够检测到外部干预（如脑损伤）引起的生理时间序列中因果结构的变化？

主要发现

• 在合成非线性时间序列上，MPIR显著优于基线方法，尤其在时间序列数量（N）增加时表现更优。
• 在Atari Breakout游戏环境中的实验表明，MPIR成功推断出游戏状态变量之间的正确因果结构，包括动作到位置、位置到奖励的依赖关系。
• 在心率与呼吸频率数据集中，MPIR识别出心率对呼吸频率存在一致且不对称的因果影响，与生理预期一致。
• 在大鼠脑电图（EEG）数据集中，MPIR检测到脑损伤后皮层左右区域之间的方向性影响发生转移，与先前研究结果一致，显示出对神经生理变化的敏感性。
• 该方法在时间预测范围K增加时，预测强度衰减极小，表明其在历史长度选择上相比基于核化因果指数的方法更具鲁棒性。
• 统计检验证实，最小预测信息度量在评估因果关系显著性方面有效，且对输入缩放和模型重参数化具有不变性。