[论文解读] Disentangling Identifiable Features from Noisy Data with Structured Nonlinear ICA

Hermanni Hälvä, Sylvain Le Corff+5 more|Työväentutkimus Vuosikirja|Jun 17, 2021

Blind Source Separation Techniques参考文献 41被引用 21

一句话总结

本文提出结构化非线性ICA（SNICA），一种新颖的可识别框架，通过利用时间与空间依赖等复杂依赖结构，从噪声高维数据中解耦潜在特征。该框架在任意未知加性噪声下仍具备理论可识别性，实现了完全无监督设置下的鲁棒降维与去噪，并在MEG数据上通过实证验证，成功解耦了脑网络动力学。

ABSTRACT

We introduce a new general identifiable framework for principled disentanglement referred to as Structured Nonlinear Independent Component Analysis (SNICA). Our contribution is to extend the identifiability theory of deep generative models for a very broad class of structured models. While previous works have shown identifiability for specific classes of time-series models, our theorems extend this to more general temporal structures as well as to models with more complex structures such as spatial dependencies. In particular, we establish the major result that identifiability for this framework holds even in the presence of noise of unknown distribution. Finally, as an example of our framework's flexibility, we introduce the first nonlinear ICA model for time-series that combines the following very useful properties: it accounts for both nonstationarity and autocorrelation in a fully unsupervised setting; performs dimensionality reduction; models hidden states; and enables principled estimation and inference by variational maximum-likelihood.

研究动机与目标

• 为解决深度生成模型在解耦表征学习中缺乏可识别性的问题，特别是在存在噪声和复杂依赖结构的情况下。
• 克服现有非线性ICA模型的局限性，这些模型假设已知噪声分布、完全可观测性或特定结构形式。
• 开发一个统一框架，使具有任意阶时间与空间依赖性的广泛模型类别具备可识别性。
• 实现在真实世界数据中具有原则性的无监督解耦，包括降维、去噪和隐状态建模。

提出的方法

• 提出结构化非线性ICA（SNICA），一种通用框架，将可识别性理论扩展至具有任意依赖结构（包括时间与空间依赖）的模型。
• 提出理论条件，证明即使在观测噪声分布未知的情况下，非线性独立分量仍保持可识别性。
• 采用变分最大似然方法，实现SNICA框架中原则性的估计与推断。
• 开发$\Delta$-SNICA模型，一种具体实现，结合非平稳性、自相关性、隐状态与降维，在完全无监督设置下运行。
• 采用具有共享编码器-解码器层的深度神经网络架构，并结合两状态HMM，以建模潜在分量中的切换动态。
• 在MEG数据上应用该框架，使用每位受试者5分钟的静息态数据段，采样频率为128 Hz，进行带通滤波（4–30 Hz），并进行零均值、单位方差标准化。

实验结果

研究问题

• RQ1 在未知加性噪声下，是否能为具有复杂依赖结构（如时间与空间依赖）的模型保证非线性ICA的可识别性？
• RQ2 是否可能设计一种非线性ICA模型，以完全无监督方式同时处理非平稳性、自相关性与降维？
• RQ3 如何在非线性ICA框架中有效建模隐状态，以捕捉神经影像数据中的动态脑过程？
• RQ4 与现有基线方法相比，SNICA框架在真实世界噪声数据中实现鲁棒解耦与去噪的性能提升程度如何？

主要发现

• SNICA框架为一大类非线性ICA模型建立了理论可识别性，即使观测噪声具有任意未知分布亦成立。
• $\Delta$-SNICA模型成功从MEG数据中解耦出可识别的潜在分量，捕捉到视觉、听觉和默认模式网络等不同的脑网络动力学。
• $\Delta$-SNICA中的HMM切换机制表明，脑状态（激活/非激活）平均持续时间为0.8至7秒，表明其动态缓慢，与已知的瞬态脑状态一致。
• 该模型实现了有效的降维与去噪，表现为在线性SVM上对任务-会话数据的下游分类性能显著提升。
• 通过权重矩阵可视化学习到的特征空间分布，显示出在MEG传感器上的有意义拓扑分布，表明具有可解释的脑源定位能力。
• 在跨受试者刺激模态分类（听觉 vs. 视觉）中，基于SNICA的特征优于IIA-HMM与IIA-TCL等基线方法，展现出优异的跨受试者泛化能力。