[논문 리뷰] Invariant Gaussian Process Latent Variable Models and Application in Causal Discovery

Kun Zhang, Bernhard Schölkopf외 1명|Uncertainty in Artificial Intelligence|2012. 03. 15.

Gaussian Processes and Bayesian Inference참고 문헌 23인용 수 9

한 줄 요약

이 논문은 잠재 함수의 변환된 형태에 가우시안 프로세스 사전분포를 적용함으로써 임의의 노이즈 공분산을 수용할 수 있도록 확장한 Invariant Gaussian Process Latent Variable Models (IGPLVM)를 제안한다. 이 방법은 비특이 선형 데이터 변환에 대해 불변성을 유지하며, 효과적인 비선형 다양체 학습과 인과적 발견을 가능하게 하며, 시뮬레이션 및 실세계 데이터에서 강력한 성능을 보이는 것으로 실험적으로 입증되었다.

ABSTRACT

In nonlinear latent variable models or dynamic models, if we consider the latent variables as confounders (common causes), the noise dependencies imply further relations between the observed variables. Such models are then closely related to causal discovery in the presence of nonlinear confounders, which is a challenging problem. However, generally in such models the observation noise is assumed to be independent across data dimensions, and consequently the noise dependencies are ignored. In this paper we focus on the Gaussian process latent variable model (GPLVM), from which we develop an extended model called invariant GPLVM (IGPLVM), which can adapt to arbitrary noise covariances. With the Gaussian process prior put on a particular transformation of the latent nonlinear functions, instead of the original ones, the algorithm for IGPLVM involves almost the same computational loads as that for the original GPLVM. Besides its potential application in causal discovery, IGPLVM has the advantage that its estimated latent nonlinear manifold is invariant to any nonsingular linear transformation of the data. Experimental results on both synthetic and realworld data show its encouraging performance in nonlinear manifold learning and causal discovery.

연구 동기 및 목표

• 비선형 혼동 모델에서 중요한 임계 요소인 데이터 차원 간의 종속된 노이즈를 처리할 수 없는 표준 GPLVM의 한계를 해결한다.
• 관측된 데이터의 비특이 선형 변환에 대해 불변성을 유지함으로써 강건성을 향상시킬 수 있는 모델을 개발한다.
• 노이즈 의존성을 명시적으로 모델링하여 비선형 혼동요인 존재 하에서 인과적 발견을 가능하게 한다.
• 유연한 노이즈 공분산 구조를 통합하면서도 표준 GPLVM과 유사한 계산 효율성을 유지한다.
• 인과 추론과 다양체 학습에 적용 가능한 비선형 잠재변수 모델링을 위한 원칙적인 프레임워크를 제공한다.

제안 방법

• 원래의 함수가 아니라 잠재 함수의 변환된 형태에 가우시안 프로세스 사전분포를 적용하는 불변 GPLVM(IGPLVM)을 도입한다.
• 잠재 비선형 함수를 변환된 공간에서 GP 사전분포로 모델링함으로써 임의의 노이즈 공분산 구조를 허용한다.
• 일般적인 노이즈 공분산 행렬을 기반으로 가능도를 설정하여 데이터 차원 간의 노이즈 항목 간의 의존성을 가능하게 한다.
• 변환의 구조를 활용하여 표준 GPLVM과 유사한 계산 복잡도를 유지하는 최적화 절차를 유도한다.
• 관측된 데이터에 대한 임의의 비특이 선형 변환에 대해 추정된 잠재 다양체의 불변성을 확보한다.
• 잠재 변수와 하이퍼파ram터의 사후분포를 근사하기 위해 변분 추론 또는 최적화 기법을 사용한다.

실험 결과

연구 질문

• RQ1 표준 GPLVM의 계산 효율성을 유지하면서도 임의의 노이즈 공분산 구조를 모델링할 수 있는가?
• RQ2 제안된 IGPLVM가 관측된 데이터의 선형 변환에 대해 불변성을 유지하는가?
• RQ3 노이즈 의존성이 존재할 경우 IGPLVM은 비선형 다양체 학습에서 성능을 향상시킬 수 있는가?
• RQ4 비선형 혼동요인 존재 하에서 IGPLVM은 인과적 발견을 어느 정도 지원할 수 있는가?
• RQ5 시뮬레이션 및 실세계 데이터에서 IGPLVM은 표준 GPLVM 및 기타 방법과 비교해 성능가능성이 있는가?

주요 결과

• IGPLVM는 임의의 노이즈 공분산 구조를 성공적으로 모델링하여 잠재변수 모델에서 종속된 노이즈를 더 정확하게 표현할 수 있다.
• 추정된 잠재 비선형 다양체는 데이터에 대한 임의의 비특이 선형 변환에 대해 불변성을 유지하며, 이는 강건성을 향상시킨다.
• IGPLVM은 시뮬레이션 및 실세계 데이터셋 모두에서 비선형 다양체 학습에서 경쟁적인 성능을 달성한다.
• 비선형 혼동요인에 의해 유도된 복잡한 의존성을 포착함으로써 인과적 발견 잠재력을 보여준다.
• IGPLVM의 계산 비용은 표준 GPLVM과 유사하여 실용적 응용에 대해 확장 가능한 편이다.
• 실험 결과, 특히 인과적 발견 작업에서 종속된 노이즈가 존재하는 상황에서 IGPLVM은 표준 GPLVM을 능가하는 성능을 보였다.