[论文解读] Hidden Markov Nonlinear ICA: Unsupervised Learning from Nonstationary Time Series

Hermanni Hälvä, Aapo Hyvärinen|arXiv (Cornell University)|Jun 22, 2020

Blind Source Separation Techniques参考文献 25被引用 17

一句话总结

本文提出隐马尔可夫非线性 ICA，一种完全无监督的框架，用潜在隐马尔可夫模型（HMM）替代非平稳时间序列的人工分割，以建模时变数据分布。通过将 HMM 整合到非线性 ICA 中，该方法实现了可识别性，通过 EM 算法实现端到端学习，并在合成数据上优于先前方法（如 TCL），在恢复独立分量和建模时序动态方面表现更优。

ABSTRACT

Recent advances in nonlinear Independent Component Analysis (ICA) provide a principled framework for unsupervised feature learning and disentanglement. The central idea in such works is that the latent components are assumed to be independent conditional on some observed auxiliary variables, such as the time-segment index. This requires manual segmentation of data into non-stationary segments which is computationally expensive, inaccurate and often impossible. These models are thus not fully unsupervised. We remedy these limitations by combining nonlinear ICA with a Hidden Markov Model, resulting in a model where a latent state acts in place of the observed segment-index. We prove identifiability of the proposed model for a general mixing nonlinearity, such as a neural network. We also show how maximum likelihood estimation of the model can be done using the expectation-maximization algorithm. Thus, we achieve a new nonlinear ICA framework which is unsupervised, more efficient, as well as able to model underlying temporal dynamics.

研究动机与目标

• 解决现有非线性 ICA 方法在非平稳数据中需要观测辅助变量（如分段索引）的局限性。
• 开发一种完全无监督的框架，从数据中推断潜在时序状态，无需人工分割。
• 在条件变量未观测且通过 HMM 推断时，实现独立分量的可识别性。
• 通过少量隐藏状态高效建模重复的非平稳动态。
• 为时间序列的无监督表示学习与时序动态推断提供统一框架。

提出的方法

• 在非线性 ICA 框架中引入隐马尔可夫模型（HMM）作为潜在条件变量，替代观测到的分段索引。
• 利用 HMM 通过具有马尔可夫转移动态的离散潜在状态来建模时变数据分布。
• 通过扩展 Hyvärinen 等人（2019）的理论结果，证明在一般混合非线性（包括深度神经网络）下模型的可识别性。
• 采用期望最大化（EM）算法进行最大似然估计，M 步使用 Adam 优化器对子序列的小批量数据进行优化。
• 使用具有 Leaky ReLU 激活函数和层间权重共享的多层感知机（MLP）参数化逆混合函数。
• 在模型训练后，应用 Viterbi 算法推断最可能的潜在状态序列。

实验结果

研究问题

• RQ1 能否通过用潜在 HMM 替代观测分段索引，使非线性 ICA 模型实现完全无监督？
• RQ2 当条件变量未被观测且通过 HMM 推断时，独立分量的可识别性是否仍能保持？
• RQ3 所提出的模型能否在从非平稳时间序列恢复真实独立分量方面优于现有方法（如 TCL）？
• RQ4 该模型在在多大程度上能够学习并重建潜在状态的底层时序动态？
• RQ5 与固定的人工分段区间相比，使用潜在 HMM 是否能提高估计效率和准确性？

主要发现

• 所提出的隐马尔可夫非线性 ICA 模型在恢复真实独立分量方面表现优于时间对比学习（TCL），尤其在更高非线性度（L=4）时，其性能在所有测试配置中显著优于 TCL。
• 当 N=5 且 C=11 时，线性 ICA 下潜在状态分类的准确率接近完美（接近 100%），L=2 时为 80%，L=4 时为 68%，表明其具有强大的时序动态恢复能力。
• 即使隐藏状态数量较少且随时间重复，该模型仍能成功识别并聚类潜在状态，使其反映真实的底层动态。
• EM 算法中使用随机小批量数据可实现更快收敛，证明了其实际可扩展性。
• 该模型在一般混合非线性（包括深度神经网络）下被证明具有可识别性，确立了其理论严谨性。
• 该框架实现了解耦特征与时序动态的联合学习，为非平稳数据的无监督表示学习提供了更合理且高效的途径。