[논문 리뷰] Identifiability of latent-variable and structural-equation models: from linear to nonlinear

Aapo Hyvärinen, Ilyes Khemakhem외 1명|arXiv (Cornell University)|2023. 02. 06.

Spectroscopy and Chemometric AnalysesChemistry인용 수 3

한 줄 요약

이 논문은 잠재변수 모형과 구조적방정식모형의 식별가능성 조건을 수립하며, 비정규성은 선형 모형에서 성분을 유일하게 복원할 수 있도록 하고, 시간적 의존성 또는 비정상성은 비선형 비모수 모형에서 식별가능성을 보장한다. 주요 기여는 ICA와 SEM을 연결하는 통합 이론적 프레임워크를 제공함으로써 인과 추론과 분리된 표현 학습을 가능하게 한다.

ABSTRACT

An old problem in multivariate statistics is that linear Gaussian models are often unidentifiable, i.e. some parameters cannot be uniquely estimated. In factor (component) analysis, an orthogonal rotation of the factors is unidentifiable, while in linear regression, the direction of effect cannot be identified. For such linear models, non-Gaussianity of the (latent) variables has been shown to provide identifiability. In the case of factor analysis, this leads to independent component analysis, while in the case of the direction of effect, non-Gaussian versions of structural equation modelling solve the problem. More recently, we have shown how even general nonparametric nonlinear versions of such models can be estimated. Non-Gaussianity is not enough in this case, but assuming we have time series, or that the distributions are suitably modulated by some observed auxiliary variables, the models are identifiable. This paper reviews the identifiability theory for the linear and nonlinear cases, considering both factor analytic models and structural equation models.

연구 동기 및 목표

• 요소 회전이 식별불가능한 선형 가우시안 요인 모형에서 오랫동안 지속된 식별 문제를 해결한다.
• 시간적 의존성 또는 비정상성과 같은 구조적 가정을 도입하여 비선형 비모수 모형으로의 식별가능성 확장을 시도한다.
• 인과 추론을 위한 독립성성분분석(ICA)과 구조적방정식모형(SEM) 간의 이론적 연결 고리를 수립한다.
• 관측 데이터로부터 비선형 ICA와 비선형 SEM이 관측자료로부터 유일하게 추정될 수 있는 조건을 제공한다.
• 기계학습에서 분리된 표현 학습과 인과 추론을 위한 식별가능성의 활용을 정당화한다.

제안 방법

• 선형 ICA에서 회전 불확정성 문제를 해결하기 위해 비정규성을 핵심 가정으로 삼아 독립 성분의 유일한 복원을 가능하게 한다.
• 시간적 시계열 구조나 관측 가능한 조절 변수를 활용하여 비모수적 가정 없이도 비선형 ICA에서 식별가능성을 유도한다.
• 혼합 함수를 비모수적이고 잠재변수를 비정규적으로 하는 잠재변수 모형으로서 비선형 ICA를 수식화한다.
• SEM 추정을 ICA 추정으로 환원시켜 비선형 ICA의 식별성 결과를 구조적방정식모형에 적용한다.
• 실제 추론을 위해 자기지도 학습과 최대우도추정 기법을 비선형 ICA 모형에 적용한다.
• 딥 뉴럴 네트워크의 중간 층으로까지 식별성 보장을 확장하기 위해 재귀적 식별성 추론 기법을 제안한다.

Figure 1: The basic idea of ICA. From the four measured signals shown in the upper row, ICA is able to recover the original source signals which were mixed together in the measurements, as shown in the bottom row.

실험 결과

연구 질문

• RQ1 선형 가우시안 요인 모형은 어떤 조건에서 식별가능한가? 비정규성은 어떻게 회전 불확정성을 해결하는가?
• RQ2 혼합 함수에 대한 모수적 가정 없이도 비선형 비모수 ICA 모형에서 식별가능성은 어떻게 달성할 수 있는가?
• RQ3 시간적 의존성 또는 비정상성과 같은 구조적 가정은 비선형 ICA에서 식별가능성을 어떻게 보장하는가?
• RQ4 비선형 ICA의 식별성은 딥 뉴럴 네트워크의 중간 층으로까지 확장될 수 있는가?
• RQ5 ICA에서의 식별성은 인과 추론을 위한 구조적방정식모형의 추정과 식별에 어떻게 활용될 수 있는가?

주요 결과

• 비정규 잠재변수를 가진 선형 ICA는 식별가능하며, 이는 독립 성분의 유일한 복원과 블라인드 소스 분리 문제의 해결을 가능하게 한다.
• 비선형 ICA에서 비정규성만으로는 식별가능성이 보장되지 않으며, 시간적 시계열 구조나 비정상성과 같은 추가 가정이 필요하다.
• 시간적 또는 비정상적 구조를 가진 비선형 ICA 모형은 온건한 정규성 조건 하에서 식별가능하며, 잠재 성분의 일致한 추정이 가능하다.
• 재귀적 전파를 통해 비선형 ICA의 식별성 보장 조건을 딥 뉴럴 네트워크의 중간 층으로까지 확장할 수 있다.
• 비선형 ICA는 비선형 SEM 추정의 기초를 제공하며, 관측 데이터로부터 인과 추론을 가능하게 한다.
• 자기지도 학습 및 최대우도추정과 같은 추정 방법은 비선형 ICA에 효과적이지만, 유한 표본에서의 통계적 효율성은 여전히 열린 문제이다.

Figure 2: A SEM can be expressed by a directed graph (typically acyclic), where the arcs express causal influences, as well as statistical dependenceis. Here, the nodes have been ordered so that the influences all go from top to bottom. The disturbance or noise variables are not plotted here, since