[논문 리뷰] Estimation of linear, non-gaussian causal models in the presence of confounding latent variables

Patrik O. Hoyer, Shohei Shimizu외 1명|ArXiv.org|2006. 03. 09.

Blind Source Separation Techniques참고 문헌 9인용 수 13

한 줄 요약

이 논문은 초과기저(overcomplete) 독립성 분석(ICA)과 구조적 제약 조건을 활용하여 관측되지 않은 혼란 변수가 존재하는 상황에서 선형 비정규 분포 인과 모델을 추정하는 방법을 제안한다. 잠재적 혼란 변수가 존재할 경우 진정한 인과 구조가 유일하게 식별 가능하지 않지만, 데이터를 설명할 수 있는 관측적으로 및 인과적으로 동치인 모델의 유한한 집합 뿐만이 존재하며, ICA 기반 재표본 추출과 모델 추론을 통한 시뮬레이션을 통해 이 방법의 실용적 타당성이 확인된다.

ABSTRACT

The estimation of linear causal models (also known as structural equation models) from data is a well-known problem which has received much attention in the past. Most previous work has, however, made an explicit or implicit assumption of gaussianity, limiting the identifiability of the models. We have recently shown (Shimizu et al, 2005; Hoyer et al, 2006) that for non-gaussian distributions the full causal model can be estimated in the no hidden variables case. In this contribution, we discuss the estimation of the model when confounding latent variables are present. Although in this case uniqueness is no longer guaranteed, there is at most a finite set of models which can fit the data. We develop an algorithm for estimating this set, and describe numerical simulations which confirm the theoretical arguments and demonstrate the practical viability of the approach. Full Matlab code is provided for all simulations.

연구 동기 및 목표

• 관측되지 않은 혼란 변수가 존재할 경우 선형 비정규 모델에서 인과 발견 문제를 다루는 것.
• 잠재적 혼란 변수가 없는 이전의 식별 가능한 LiNGAM 모델 연구를 은닉된 공통 원인 존재하는 환경으로 확장하는 것.
• 관측된 데이터와 일치하는 관측적으로 및 인과적으로 동치인 모델의 집합을 추정하는 실용적인 방법을 개발하는 것.
• 시뮬레이션과 소규모 데이터 시범 분석을 통해 접근법을 검증하여 추정 오차에 대한 강건성을 보여주는 것.
• 실제 관측 데이터에서 잠재적 혼란 변수가 존재하는 상황에서의 인과 발견을 위한 향후 소프트웨어 도구 개발의 기초를 마련하는 것.

제안 방법

• 데이터 생성 과정을 관측 변수와 잠재 변수 간 선형 비정규 비순환 구조 방정식 모델(LiNGAM)로 모델링하며, 관측되지 않은 혼란 변수를 포함한다.
• 관측 변수와 잠재 변수 간 선형 관계를 나타내는 기저 행렬을 초과기저 독립성 분석(ICA)을 통해 추정한다.
• 모든 가능한 관측적으로 및 인과적으로 동치인 모델을 식별하기 위해 재표본 추출 기반 추론 절차를 적용한다.
• 표준 모델 표현을 활용하여 관측적으로 동치인 구조를 단순화하고 비교함으로써 중복을 줄인다.
• 안정성 및 충실성 가정을 활용하여 인과 효과가 상쇄되지 않으며 원칙적으로 식별 가능하도록 보장한다.
• 소규모 시뮬레이션에서 ICA 추정을 위해 혼합 정규분포 프레임워크를 사용하며, 개념 증명을 위해 손실 분포가 알려져 있다고 가정한다.

실험 결과

연구 질문

• RQ1 잠재적 혼란 변수가 존재할 경우 선형 비정규 인과 모델을 추정할 수 있는가?
• RQ2 잠재적 혼란 변수가 존재할 경우 동일한 관측 데이터를 설명할 수 있는 관측적으로 및 인과적으로 동치인 모델의 집합은 무엇인가?
• RQ3 ICA 기저 행렬 추정 오차에 대해 추정 방법은 얼마나 강건한가?
• RQ4 관측 변수 간 조건부 독립성이 없는 데이터에서 이 방법은 올바른 인과 구조를 식별할 수 있는가?
• RQ5 현재 ICA 알고리즘은 고차원 잠재 변수 모델의 초과기저 기저 추정에서 어떤 실용적 한계를 지니는가?

주요 결과

• 잠재적 혼란 변수가 존재할 경우 진정한 인과 모델은 유일하게 식별 가능하지 않지만, 데이터를 설명할 수 있는 관측적으로 및 인과적으로 동치인 모델의 유한한 집합 뿐만이 존재한다.
• 시뮬레이션 결과, 제안된 재표본 추출 기반 추론 방법이 노이즈가 있는 ICA 추정치가 존재하더라도 진짜 생성 모델에 인과적으로 가까운 모델을 성공적으로 복원함을 보여준다.
• 소규모 데이터 예시에서 실제로 직접 연결이 존재하지 않을 경우 이 방법이 관측 변수 간 연결이 없는 것을 올바르게 식별함을 입증한다.
• 기존의 제约束 기반 방법이 실패하는 경우, 관측 변수 간 조건부 독립성이 없는 데이터에서 이 방법이 올바른 네트워크 구조를 식별할 수 있다.
• 추정 오차로 인해 영계수의 분류 오류가 발생할 경우 방법이 실패함을 보여주며, 제约束 기반 알고리즘과 마찬가지로 ICA 정확도에 민감함을 보인다.
• 이 프레임워크는 소규모에서 중간 규모의 모델에 대해 실용적으로 타당하며, 특히 독립 부분공간(ISA) 구조를 따를 경우 국소적 ICA 추정이 가능하므로 유리하다.