[论文解读] Identifiability of latent-variable and structural-equation models: from linear to nonlinear

Aapo Hyvärinen, Ilyes Khemakhem+1 more|arXiv (Cornell University)|Feb 6, 2023

Spectroscopy and Chemometric AnalysesChemistry被引用 3

一句话总结

本文確立了潛變量模型與結構方程模型的可識別性條件，表明非高斯性可實現線性模型中組分的唯一恢復（透過ICA），而時間依賴性或非 stationary 性則確保非線性、非參數模型的可識別性。主要貢獻在於建立一個統一的理論框架，連結ICA與SEM，進而實現因果發現與解耦表徵學習。

ABSTRACT

An old problem in multivariate statistics is that linear Gaussian models are often unidentifiable, i.e. some parameters cannot be uniquely estimated. In factor (component) analysis, an orthogonal rotation of the factors is unidentifiable, while in linear regression, the direction of effect cannot be identified. For such linear models, non-Gaussianity of the (latent) variables has been shown to provide identifiability. In the case of factor analysis, this leads to independent component analysis, while in the case of the direction of effect, non-Gaussian versions of structural equation modelling solve the problem. More recently, we have shown how even general nonparametric nonlinear versions of such models can be estimated. Non-Gaussianity is not enough in this case, but assuming we have time series, or that the distributions are suitably modulated by some observed auxiliary variables, the models are identifiable. This paper reviews the identifiability theory for the linear and nonlinear cases, considering both factor analytic models and structural equation models.

研究动机与目标

• 解決線性高斯因子模型中因子旋轉不可識別的長期可識別性問題。
• 透過引入時間依賴性或非 stationary 性等結構假設，將可識別性擴展至非線性、非參數模型。
• 建立獨立成分分析（ICA）與結構方程模型（SEM）之間的理論連結，以實現因果發現。
• 提供非線性ICA與非線性SEM可從觀測資料中唯一估計的條件。
• 推動可識別性在機器學習中用於解耦表徵學習與因果推斷。

提出的方法

• 以非高斯性為關鍵假設，打破線性ICA中的旋轉不確定性，實現獨立成分的唯一恢復。
• 利用時間序列結構或觀測的調節變數，即使在無參數假設下，亦可實現非線性ICA的可識別性。
• 將非線性ICA公式化為潛變量模型，其中混合函數為非參數，且潛變量為非高斯。
• 透過將SEM估計簡化為ICA估計，將非線性ICA的可識別性結果應用於結構方程模型。
• 運用自監督學習與最大似然估計技術，實現非線性ICA模型的實際推斷。
• 提出遞歸可識別性論證，將可識別性保證從深層神經網絡的最終層推廣至中間層。

Figure 1: The basic idea of ICA. From the four measured signals shown in the upper row, ICA is able to recover the original source signals which were mixed together in the measurements, as shown in the bottom row.

实验结果

研究问题

• RQ1 在何種條件下，線性高斯因子模型具有可識別性？非高斯性如何解決旋轉不確定性？
• RQ2 在無混合函數參數假設下，如何實現非線性、非參數ICA模型的可識別性？
• RQ3 何種結構假設（如時間依賴性或非 stationary 性）可促成非線性ICA的可識別性？
• RQ4 非線性ICA的可識別性能否延伸至深層神經網絡的中間層？
• RQ5 如何利用ICA中的可識別性來估計與識別結構方程模型，以實現因果發現？

主要发现

• 具非高斯潛變量的線性ICA具有可識別性，可唯一恢復獨立成分，從而解決盲信號分離問題。
• 僅靠非高斯性不足以確保非線性ICA的可識別性；仍需額外假設，如時間序列結構或非 stationary 性。
• 具時間或非 stationary 結構的非線性ICA模型在溫和正則條件下具有可識別性，可實現潛變量成分的一致估計。
• 透過可識別性保證的遞歸傳播，可將非線性ICA的可識別性推廣至深層神經網絡的中間層。
• 非線性ICA為估計非線性SEM提供了基礎，使從觀測資料中實現因果發現成為可能。
• 自監督學習與最大似然等估計方法在非線性ICA中表現有效，但有限樣本下的統計效率仍為開放問題。

Figure 2: A SEM can be expressed by a directed graph (typically acyclic), where the arcs express causal influences, as well as statistical dependenceis. Here, the nodes have been ordered so that the influences all go from top to bottom. The disturbance or noise variables are not plotted here, since