[논문 리뷰] Learning Temporally Causal Latent Processes from General Temporal Data

Weiran Yao, Yuewen Sun외 3명|arXiv (Cornell University)|2021. 10. 11.

Bayesian Modeling and Causal Inference참고 문헌 38인용 수 6

한 줄 요약

이 논문은 비선형이고 역행할 수 있는 관측 시간 데이터의 혼합물로부터 시간적으로 인과적인 잠재 과정을 이론적으로 근거를 두고 식별하는 LEAP를 제안한다. 독립된 노이즈 조건을 강제로 적용하고, 플로우 기반 사전 확률을 통해 비정상성을 모델링함으로써, 희소성 또는 최소성 가정 없이도 기존의 기준보다 뛰어난 분리도와 인과적 구조 복원 성능을 달성한다. 이는 시간 지연된 종속성과 비정상 통계를 활용함으로써 가능하다.

ABSTRACT

Our goal is to recover time-delayed latent causal variables and identify their relations from measured temporal data. Estimating causally-related latent variables from observations is particularly challenging as the latent variables are not uniquely recoverable in the most general case. In this work, we consider both a nonparametric, nonstationary setting and a parametric setting for the latent processes and propose two provable conditions under which temporally causal latent processes can be identified from their nonlinear mixtures. We propose LEAP, a theoretically-grounded framework that extends Variational AutoEncoders (VAEs) by enforcing our conditions through proper constraints in causal process prior. Experimental results on various datasets demonstrate that temporally causal latent processes are reliably identified from observed variables under different dependency structures and that our approach considerably outperforms baselines that do not properly leverage history or nonstationarity information. This demonstrates that using temporal information to learn latent processes from their invertible nonlinear mixtures in an unsupervised manner, for which we believe our work is one of the first, seems promising even without sparsity or minimality assumptions.

연구 동기 및 목표

• 희소성 또는 최소성 가정 없이 일반적인 시간 데이터로부터 시간적으로 인과적인 잠재 과정을 식별하는 것.
• 시간 지연된 인과적 종속성을 가진 비선형, 비모수적, 모수적 잠재 과정에 대해 증명 가능한 식별 조건을 수립하는 것.
• VAE 유사 아키텍처에서 학습된 인과 과정 사전 확률을 통해 이러한 조건을 강제하는 딥 생성 프레임워크를 개발하는 것.
• 시간적 구조와 비정상성이 비선형 혼합물에서 인과적으로 관련된 잠재 요인을 신뢰성 있게 복원할 수 있음을 보여주는 것.
• 운동 캡처 및 영상 데이터를 포함한 합성 및 실세계 데이터셋에서 방법을 검증하여 분리도와 인과적 구조 복원 성능 향상을 입증하는 것.

제안 방법

• 식별성에 기여하는 독립된 노이즈(IN) 조건을 강제하는 학습된 인과 과정 사전 확률을 갖는 변분 오토인코더(VAE)를 확장한다.
• 비정상성을 모델링하기 위해 플로우 기반 정규화 플로우를 사용하여 잠재 과정 사전 확률의 시간에 따라 변화하는 기능적 및 분포적 형태를 포착한다.
• 잠재 역학에 구조적 제약 조건을 부여하여 시간 지연된 인과 관계가 유지되고 식별 가능하도록 보장한다.
• 진짜 시간 시계열과 뒤섞인 시계열을 구별하는 대trastive 학습 목표를 사용하여 시간 종속성을 활용해 식별성을 확보한다.
• 실제 시계열과 순열 처리된 시계열을 구별하는 이중 스트림 판별자를 도입하여 시간적 구조 인식 능력을 강화한다.
• VAE와 판별자에 대해 조정된 학습률을 사용하는 AdamW 옵timizer를 사용하여 학습을 안정화하고 수치적 문제를 방지한다.

실험 결과

연구 질문

• RQ1 비선형이고 역행할 수 있는 관측 데이터 혼합물로부터 시간 지연된 종속성을 가진 시간적으로 인과적인 잠재 과정은 어떤 조건에서 식별될 수 있는가?
• RQ2 기능 형태나 노이즈 분포의 비정상성은 어떻게 활용되어 잠재 인과 과정의 식별성을 달성하는가?
• RQ3 딥 생성 모델은 희소성 또는 최소성 가정에 의존하지 않고도 인과적으로 관련된 잠재 요인을 회복할 수 있는가?
• RQ4 기존의 VAE 기반 방법과 비교해 LEAP 프레임워크는 인과적으로 구조화된 잠재 역학을 얼마나 잘 분리하는가?
• RQ5 학습된 잠재 변수는 실세계 데이터에서 의미 있고 해석 가능한 인과 요인(예: 운동의 회전)을 어느 정도 잘 표현할 수 있는가?

주요 결과

• LEAP는 인간의 걷기 동작에 해당하는 인과적으로 관련된 세 개의 잠재 요인인 피치, 요, 롤을 성공적으로 식별하였으며, 기준 모델들보다 더 뛰어난 해석 가능성과 부드러운 전이를 보였다.
• CMU-Mocap 데이터셋에서 LEAP는 부드러운 역학을 보이는 세 개의 의미 있는 잠재 변수만을 사용했고, 기준 모델들은 모두 여덟 개의 잠재 차원이 필요했으며, 이는 뛰어난 분리도를 의미한다.
• LEAP는 잠재 요소 간의 상호 관계(예: 피치와 롤이 상호로 영향을 주고받는다)를 복원하는 반면, BetaVAE나 SlowVAE와 같은 기준 모델들은 독립적인 역학만 학습한다.
• 질량-스프링 시스템 시뮬레이션에서 LEAP는 다섯 개의 물체의 수평 및 수직 위치를 정확히 분리하였으며, 구조적 함밍 거리(SHD)가 0이었으므로 완벽한 인과 스켈레톤 복원을 의미한다.
• 비선형 혼합과 비정상성에 대해 강건성을 보이며, 비모수적이고 시간에 따라 변화하는 인과 과정이라도 신뢰성 있게 식별 가능함을 입증했다.
• 비디오 시연 결과, LEAP의 잠재 변수 탐색은 현실적이고 일관된 운동 시퀀스를 생성하는 반면, 기준 모델들은 비정상적이거나 비현실적인 전이를 보였다.