[论文解读] Independent Innovation Analysis for Nonlinear Vector Autoregressive Process

Hiroshi Morioka, Hermanni Hälvä+1 more|arXiv (Cornell University)|Jun 19, 2020

Fault Detection and Control Systems参考文献 26被引用 5

一句话总结

本文提出了独立创新分析（IIA），这是一种新颖的框架，用于识别具有观测值与创新项之间任意非线性相互作用的非线性向量自回归（NVAR）过程中的潜在创新。通过假设创新项之间相互独立，并由一个辅助变量（如时间）调制，IIA 实现了在排列和分量可逆非线性变换下的可识别性，为具有三个实用估计方法的一般NVAR模型提供了首个严格的可识别性结果，这些方法基于自监督学习和最大似然推断。

ABSTRACT

The nonlinear vector autoregressive (NVAR) model provides an appealing framework to analyze multivariate time series obtained from a nonlinear dynamical system. However, the innovation (or error), which plays a key role by driving the dynamics, is almost always assumed to be additive. Additivity greatly limits the generality of the model, hindering analysis of general NVAR processes which have nonlinear interactions between the innovations. Here, we propose a new general framework called independent innovation analysis (IIA), which estimates the innovations from completely general NVAR. We assume mutual independence of the innovations as well as their modulation by an auxiliary variable (which is often taken as the time index and simply interpreted as nonstationarity). We show that IIA guarantees the identifiability of the innovations with arbitrary nonlinearities, up to a permutation and component-wise invertible nonlinearities. We also propose three estimation frameworks depending on the type of the auxiliary variable. We thus provide the first rigorous identifiability result for general NVAR, as well as very general tools for learning such models.

研究动机与目标

• 解决一般非线性向量自回归（NVAR）模型中由于创新项不可加性分离而导致的可识别性缺失问题。
• 开发一种从多变量时间序列中估计潜在创新的框架，而无需假设创新结构为加法或线性。
• 在最小正则性假设下，建立一般NVAR过程中创新的理论可识别性。
• 提出适用于真实世界时间序列数据的实用、可训练的IIA估计方法。
• 通过恢复独立且非高斯的创新分量，实现时间序列动态的可解释性分解。

提出的方法

• 提出一个通用的NVAR(1)模型，其中时间t的观测值非线性地依赖于过去观测值和创新项：$\mathbf{x}_t = \mathbf{f}(\mathbf{x}_{t-1}, \mathbf{s}_t)$，其中$\mathbf{s}_t$为潜在创新。
• 假设创新项之间相互独立，并受辅助变量（如时间）调制，从而引入非平稳性并实现可识别性。
• 提出三种估计框架：两种基于对比学习和时间一致性的神经网络自监督方法，以及一种基于隐马尔可夫模型的最大似然方法。
• 使用解混网络来反转NVAR混合过程，基于$\mathbf{x}_t$和$\mathbf{x}_{t-1}$估计$\mathbf{s}_t$，并施加独立性和非平稳性约束。
• 利用分量可逆非线性变换和排列不变性，解决潜在变量模型中的基本不确定性问题。
• 应用对比学习和时间一致性，学习无显式标签的解耦创新表示。

实验结果

研究问题

• RQ1 当创新项与状态不可加性分离时，能否在一般非线性向量自回归（NVAR）过程中识别出创新？
• RQ2 哪些假设足以保证具有任意非线性的通用NVAR模型中创新的可识别性？
• RQ3 当底层混合函数未知且为非线性时，数据驱动框架如何从未知的多变量时间序列中估计创新？
• RQ4 自监督学习技术能否有效用于估计NVAR过程中无标签数据的独立创新？
• RQ5 辅助变量（如时间）在非线性动力系统中实现创新可识别性方面起什么作用？

主要发现

• 在创新项相互独立且受辅助变量调制的假设下，IIA在排列和分量可逆非线性变换下实现了对一般NVAR模型中创新的可识别性。
• 所提出的IIA框架为具有非加法创新的一般非线性向量自回归过程提供了首个严格的可识别性结果。
• 基于对比学习（IIA-TCL）和时间一致性（IIA-TC）的自监督估计方法在合成数据和真实神经数据上表现强劲，优于AD-NVAR和VAE等基线方法。
• 在神经数据上，IIA-TCL在一次被试排除的交叉验证中实现了92.5%的分类准确率，显著优于NICA和AD-NVAR(3)基线。
• 创新分量的可视化揭示了特定于输入的模式，证实IIA学习到了有意义且可解释的潜在动力驱动因素表示。
• 基于隐马尔可夫模型的最大似然方法（IIA-HMM）在小样本场景下表现出鲁棒性，验证了该框架的理论基础。