[论文解读] Temporal Domain Generalization with Drift-Aware Dynamic Neural Networks

Guangji Bai, Ling Chen+1 more|arXiv (Cornell University)|May 21, 2022

Machine Learning in Healthcare被引用 6

一句话总结

本文提出DRAIN，一种用于时间域泛化的漂移感知动态神经网络，通过贝叶斯框架和循环图生成来建模随时间演化的数据与模型动态。通过序列化建模随时间演变的领域，该方法捕捉概念漂移，并在不确定性与泛化误差方面提供理论保证，实现在具有时间偏移的真实世界基准上的最先进性能。

ABSTRACT

Temporal domain generalization is a promising yet extremely challenging area where the goal is to learn models under temporally changing data distributions and generalize to unseen data distributions following the trends of the change. The advancement of this area is challenged by: 1) characterizing data distribution drift and its impacts on models, 2) expressiveness in tracking the model dynamics, and 3) theoretical guarantee on the performance. To address them, we propose a Temporal Domain Generalization with Drift-Aware Dynamic Neural Network (DRAIN) framework. Specifically, we formulate the problem into a Bayesian framework that jointly models the relation between data and model dynamics. We then build a recurrent graph generation scenario to characterize the dynamic graph-structured neural networks learned across different time points. It captures the temporal drift of model parameters and data distributions and can predict models in the future without the presence of future data. In addition, we explore theoretical guarantees of the model performance under the challenging temporal DG setting and provide theoretical analysis, including uncertainty and generalization error. Finally, extensive experiments on several real-world benchmarks with temporal drift demonstrate the effectiveness and efficiency of the proposed method.

研究动机与目标

• 解决数据分布随时间变化导致传统域泛化方法不足的时间域泛化挑战。
• 克服现有方法将域视为类别或无法建模连续概念漂移的局限性。
• 开发一种框架，可在无需未来数据的情况下预测模型在后续时间点的行为。
• 通过在时间分布偏移下提供不确定性与泛化误差界，确保理论鲁棒性。
• 通过将神经网络参数建模为随时间演化的动态图，提升模型表达能力。

提出的方法

• 将时间域泛化建模为贝叶斯问题，联合建模数据分布漂移与模型参数动态。
• 构建一种循环图生成机制，从序列化领域中学习随时间演化的神经网络结构。
• 使用带跳跃连接的序列学习模块，以保留跨领域的长程时间依赖性。
• 将神经网络建模为动态图，其中节点与边特征随时间演化，以捕捉参数漂移。
• 将不确定性量化与泛化误差分析整合到框架中，以提供理论保证。
• 采用变分推断方法端到端训练模型，以优化模型参数与图结构的后验分布。

实验结果

研究问题

• RQ1 在机器学习任务中，如何有效建模并预测随时间连续演化的数据分布中的概念漂移？
• RQ2 时间分布偏移对模型泛化有何影响？如何从理论上界定由此产生的泛化误差？
• RQ3 一种随时间演化的动态神经网络架构是否能在时间设置下超越静态或类别化域泛化方法？
• RQ4 跳跃连接与循环建模的引入如何提升序列化域泛化中长程时间依赖性学习？
• RQ5 在无法访问未来数据的情况下，基于过去数据训练的模型在多大程度上可预测未来未见时间点的最优参数？

主要发现

• DRAIN在时间域泛化基准上达到最先进性能，在2-Moons数据集上测试误差为3.2 ± 1.2，显著优于次优方法（7.1 ± 1.3），尤其当移除RNN组件后差距更明显。
• 消融研究显示，移除序列学习模块（✗ RNN）导致2-Moons数据集上误差增加15.3%，证明时间建模的关键作用。
• 跳跃连接模块对性能贡献显著，移除后（✗ Skip.C）2-Moons误差增加4.4%，表明其有效提升了长程依赖性学习。
• 敏感性分析揭示，2-Moons数据集最优网络深度为2层，Electric数据集为1层，过深或过浅的架构均因过拟合或欠拟合导致性能下降。
• 定性可视化结果表明，DRAIN能正确捕捉决策边界的随时间旋转，而静态或不变基线方法则无法适应概念漂移。
• 理论分析提供了不确定性与泛化误差的界，验证了DRAIN在时间分布偏移下的鲁棒性。