[论文解读] A Deep Learning Approach to Analyzing Continuous-Time Systems

Cory Shain, William Schuler|arXiv (Cornell University)|Sep 25, 2022

Time Series Analysis and Forecasting被引用 7

一句话总结

本文提出连续时间去卷积回归神经网络（CDRNN），一种深度学习框架，通过使用可解释、可微分的组件对连续时间动态进行建模，从而放宽时间序列分析中的标准假设（如线性、平稳性、同方差性）。在眼动追踪、自定速阅读和fMRI数据上的评估表明，CDRNN在捕捉人类语言处理中复杂、非线性和时变效应方面优于传统模型，实现了新型模式发现与稳健的混杂因素控制。

ABSTRACT

Scientists often use observational time series data to study complex natural processes, but regression analyses often assume simplistic dynamics. Recent advances in deep learning have yielded startling improvements to the performance of models of complex processes, but deep learning is generally not used for scientific analysis. Here we show that deep learning can be used to analyze complex processes, providing flexible function approximation while preserving interpretability. Our approach relaxes standard simplifying assumptions (e.g., linearity, stationarity, and homoscedasticity) that are implausible for many natural systems and may critically affect the interpretation of data. We evaluate our model on incremental human language processing, a domain with complex continuous dynamics. We demonstrate substantial improvements on behavioral and neuroimaging data, and we show that our model enables discovery of novel patterns in exploratory analyses, controls for diverse confounds in confirmatory analyses, and opens up research questions that are otherwise hard to study.

研究动机与目标

• 为解决标准回归模型在时间序列分析中的局限性，这些模型依赖于线性、平稳性和同方差性等简化假设，而这些假设在复杂自然系统中可能不成立。
• 开发一种深度学习方法，在保持可解释性的同时，实现对连续时间过程的灵活非参数函数逼近。
• 在认知和神经科学实验的观察性时间序列数据中，同时支持隐藏模式的探索性发现与验证性假设检验。
• 证明深度学习不仅可用于预测，还可用于人类语言处理等领域的科学推断，其中动态过程是连续且非线性的。
• 提供一个将模型灵活性与统计严谨性相结合的框架，使研究者能够检验假设并检测非平稳或非线性效应。

提出的方法

• CDRNN模型采用连续时间去卷积架构，对预测变量对响应变量的脉冲响应进行建模，从而实现非离散、连续时间的动态过程。
• 使用可学习、可微分的基函数（如平移伽马函数或双伽马函数）表示响应随时间变化的形状，实现平滑且可解释的脉冲响应。
• 模型引入参与者和感兴趣区域（如fMRI ROI）的随机效应，支持对个体与群体水平变异性的分层建模。
• 支持对具有时滞的预测变量进行灵活建模，通过在连续时间上操作的卷积层实现，避免对时间区间进行离散化。
• 通过嵌套零模型进行模型比较与显著性检验，利用似然比检验评估特定效应（如线性、交互作用）的存在或缺失。
• 通过使用参数族（如平移伽马分布）对响应的完整条件分布进行建模，支持分布回归，从而实现异方差性和偏态性建模。

实验结果

研究问题

• RQ1 在实时语言处理中，语言预测变量（如意外度、词长）的响应是否表现出非线性或非平稳动态？
• RQ2 深度学习模型能否检测到标准线性模型所忽略的多个预测变量之间的复杂时变交互作用？
• RQ3 标准假设的违反（如非线性、非平稳性或异方差性）如何影响认知时间序列数据结果的解释？
• RQ4 深度学习模型是否既能提高预测准确性，又能保持可解释性，以支持连续时间过程中的科学推断？
• RQ5 通过使用此灵活框架进行探索性分析，能够发现哪些关于神经和行为响应的新模式？

主要发现

• CDRNN在眼动追踪、自定速阅读和fMRI数据集中的预测准确性显著优于传统模型（LME、GAM、GAMLSS、CDR），尤其在捕捉非线性和时变效应方面表现突出。
• 该模型成功检测到对语言预测变量（如一元语法和5元语法意外度）的非线性响应，这些效应未被线性模型捕捉，常被错误估计或完全遗漏。
• CDRNN揭示了fMRI BOLD响应中的非平稳效应，表明神经响应的形状和幅度随时间变化，而这一模式在标准模型中被掩盖。
• 该框架能够检测到预测变量之间的复杂交互作用（如词长与意外度），这些交互作用在加法或线性模型中无法识别。
• 通过模型比较，CDRNN在多个数据集中提供了非线性和非平稳性的统计证据，似然比检验的p值表明这些效应具有高度显著性。
• 通过整合滞后预测变量和随机效应，该模型对混杂因素表现出鲁棒性，减少了虚假相关性，提升了验证性分析的有效性。