[論文レビュー] Identifiability of latent-variable and structural-equation models: from linear to nonlinear

Aapo Hyvärinen, Ilyes Khemakhem+1 more|arXiv (Cornell University)|Feb 6, 2023

Spectroscopy and Chemometric AnalysesChemistry被引用数 3

ひとこと要約

本論文は、潜在変数モデルおよび構造方程式モデルにおける同定可能性の条件を確立し、非ガウス性が線形モデル（ICAを介して）における成分の一意的回復を可能にし、時間的依存性または非定常性が非線形・非パrametricモデルにおける同定可能性を保証することを示している。主な貢献は、ICAとSEMを結びつける統一的な理論的枠組みを提供することであり、因果発見および分離表現学習を可能にする。

ABSTRACT

An old problem in multivariate statistics is that linear Gaussian models are often unidentifiable, i.e. some parameters cannot be uniquely estimated. In factor (component) analysis, an orthogonal rotation of the factors is unidentifiable, while in linear regression, the direction of effect cannot be identified. For such linear models, non-Gaussianity of the (latent) variables has been shown to provide identifiability. In the case of factor analysis, this leads to independent component analysis, while in the case of the direction of effect, non-Gaussian versions of structural equation modelling solve the problem. More recently, we have shown how even general nonparametric nonlinear versions of such models can be estimated. Non-Gaussianity is not enough in this case, but assuming we have time series, or that the distributions are suitably modulated by some observed auxiliary variables, the models are identifiable. This paper reviews the identifiability theory for the linear and nonlinear cases, considering both factor analytic models and structural equation models.

研究の動機と目的

• 因子回転が同定不能である線形ガウス要因モデルにおける長年の同定可能性問題に取り組む。
• 時間的依存性や非定常性といった構造的仮定を導入することで、非線形・非パrametricモデルへの同定可能性を拡張する。
• 因果発見のための独立成分分析（ICA）と構造方程式モデル（SEM）の間の理論的リンクを確立する。
• 非線形ICAおよび非線形SEMが観測データから一意に推定可能な条件を提示する。
• 機械学習における分離表現学習および因果推論の文脈で同定可能性の有用性を促進する。

提案手法

• 線形ICAにおける回転不確定性を解消するために、非ガウス性を主要仮定とし、独立成分の一意的回復を可能にする。
• 時系列構造や観測可能な調整変数を活用して、パラメトリック仮定なしに非線形ICAにおける同定可能性を誘導する。
• 混合関数を非パラメトリックとし、潜在変数を非ガウス的とする非線形ICAを潜在変数モデルとして定式化する。
• SEM推定をICA推定に還元することで、非線形ICAの同定可能性結果を構造方程式モデルに応用する。
• 非線形ICAモデルにおける実用的推論のために自己教師あり学習および最尤推定技術を適用する。
• 深層ニューラルネットワークの途中層への同定可能性保証の拡張を可能にする再帰的同定可能性議論を提案する。

Figure 1: The basic idea of ICA. From the four measured signals shown in the upper row, ICA is able to recover the original source signals which were mixed together in the measurements, as shown in the bottom row.

実験結果

リサーチクエスチョン

• RQ1 線形ガウス要因モデルはどのような条件下で同定可能であり、非ガウス性は回転不確定性をどのように解消するか？
• RQ2 混合関数のパラメトリック仮定なしに、非線形・非パラメトリックICAモデルにおける同定可能性はどのように達成されるか？
• RQ3 時間的依存性や非定常性といった構造的仮定は、非線形ICAにおける同定可能性をどのように可能にするか？
• RQ4 非線形ICAにおける同定可能性は、深層ニューラルネットワークの途中層へどのように拡張可能か？
• RQ5 ICAにおける同定可能性は、因果発見のための構造方程式モデルの推定と同定にどのように活用できるか？

主な発見

• 非ガウス的潜在変数を有する線形ICAは同定可能であり、独立成分の一意的回復が可能で、ブレインソース分離問題が解決される。
• 非ガウス性だけでは非線形ICAにおける同定可能性は不十分であり、時間的依存性や非定常性といった追加仮定が必要である。
• 時間的構造または非定常性を持つ非線形ICAモデルは、弱い正則性条件のもとで同定可能であり、潜在成分の一貫した推定が可能である。
• 再帰的伝播により、非線形ICAの同定可能性は深層ニューラルネットワークの途中層へも拡張可能である。
• 非線形ICAは非線形SEMの推定の基盤を提供し、観測データからの因果発見を可能にする。
• 自己教師あり学習や最尤推定といった推定手法は非線形ICAに対して有効であるが、有限標本における統計的効率性は未解決の問題のままである。

Figure 2: A SEM can be expressed by a directed graph (typically acyclic), where the arcs express causal influences, as well as statistical dependenceis. Here, the nodes have been ordered so that the influences all go from top to bottom. The disturbance or noise variables are not plotted here, since