[논문 리뷰] CITRIS: Causal Identifiability from Temporal Intervened Sequences

Phillip Lippe, Sara Magliacane외 4명|arXiv (Cornell University)|2022. 02. 07.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

CITRIS는 알려진 간섭이 가해진 시간적 순서의 이미지 시퀀스에서 다차원 원인 인자를 식별하고 분리하는 변동형 오토에코더 프레임워크를 제안한다. 간섭 대상과 정규화 플로우를 활용하여, 원인 인자의 일부 성분만 간섭을 받는 경우에도 식별 가능하고 분리된 표현을 달성하며, 이는 이전 방법들을 능가하고 사전 훈련된 오토에코더를 사용할 때도 새로운 원인 인자 할당에 일반화된다.

ABSTRACT

Understanding the latent causal factors of a dynamical system from visual observations is considered a crucial step towards agents reasoning in complex environments. In this paper, we propose CITRIS, a variational autoencoder framework that learns causal representations from temporal sequences of images in which underlying causal factors have possibly been intervened upon. In contrast to the recent literature, CITRIS exploits temporality and observing intervention targets to identify scalar and multidimensional causal factors, such as 3D rotation angles. Furthermore, by introducing a normalizing flow, CITRIS can be easily extended to leverage and disentangle representations obtained by already pretrained autoencoders. Extending previous results on scalar causal factors, we prove identifiability in a more general setting, in which only some components of a causal factor are affected by interventions. In experiments on 3D rendered image sequences, CITRIS outperforms previous methods on recovering the underlying causal variables. Moreover, using pretrained autoencoders, CITRIS can even generalize to unseen instantiations of causal factors, opening future research areas in sim-to-real generalization for causal representation learning.

연구 동기 및 목표

• 일부 성분만 간섭을 받는 시간적 순서에서 다차원 원인 인자를 식별하는 것.
• 간섭 대상과 시간적 동역학을 활용하여 원인 인자를 분리하는 방법을 개발하는 것.
• 사전 훈련된 오토에코더로 확장하여 새로운 원인 인자 할당에 일반화할 수 있도록 하는 것.
• 간섭이 원인 인자 성분의 일부만 영향을 주는 일반적인 설정에서의 식별 가능성 증명.
• 사전 훈련된 오토에코더에서 얻은 혼합된 표현을 원인적으로 분리된 잠재 공간으로 매핑하는 실용적 프레임워크 제공.

제안 방법

• CITRIS는 간섭 대상 조건부 사전 확률을 갖는 변동형 오토에코더(VAE)를 사용하여 분리된 잠재 표현을 학습한다.
• 기존 오토에코더에서 유도된 혼합된 잠재 표현을 원인적으로 분리된 표현으로 매핑하기 위해 정규화 플로우를 도입한다.
• 프레임워크는 원인 인자를 다차원 벡터로 모델링하여 매크로변수 수준의 분리 가능성을 제공한다.
• 순차적 영향이 없는 일阶 마르코프, 정적 동적 베이지안 네트워크를 가정한다.
• 모델은 간섭에 의해 직접 영향을 받는 최소 원인 변수를 식별하며, 영향을 받지 않는 정보는 별도의 잠재 그룹으로 묶는다.
• 모델은 간섭 대상이 알려진 이미지 시퀀스에서 훈련되며, 표준 원인 가정 하에 원인 식별 가능성을 달성한다.

실험 결과

연구 질문

• RQ1 일부 성분만 영향을 받는 부분 간섭이 가해진 시간적 순서에서 다차원 원인 인자를 식별할 수 있는가?
• RQ2 간섭 대상과 시간적 동역학을 활용하여 원인 인자를 분리하는 변동형 오토에코더를 어떻게 설계할 수 있는가?
• RQ3 정규화 플로우가 사전 훈련된 오토에코더에서 유도된 혼합 표현을 원인적으로 분리된 잠재 공간으로 효과적으로 매핑할 수 있는가?
• RQ4 사전 훈련된 모델을 사용할 때 프레임워크가 새로운 원인 인자 할당에 일반화되는가?
• RQ5 제안된 방법은 현실적인 시각적 동역학 하에서 최소 원인 변수를 회복하는 데 있어 식별 가능하고 강건한가?

주요 결과

• CITRIS는 상자 식별(예: ball_b)과 내부 공 위치(ball_xin)와 같은 원인 인자를 성공적으로 분리하여 잠재 공간과 ball_xin 간의 상관계수 R²가 0.99에 도달한다.
• 잠재 공간과 ball_b 간의 상관계수는 거의 0.00에 가까워지며, 간섭 영향을 받는 성분만 원인 인자에 포함됨을 확인한다.
• Ball-in-Boxes 실험에서 CITRIS-VAE는 평균 트리플릿 평가 거리 0.01을 기록하여 높은 수준의 분리도를 보였다.
• 정규화 플로우 구성 요소는 사전 훈련된 오토에코더를 사용할 때도 새로운 원인 인자 할당에 대한 일반화를 가능하게 한다.
• 상관계수 행렬의 시각화 결과, 잠재 차원이 정확히 할당된 것으로 확인되었으며, ball_xin은 z_ψ₀에 포함되고, ball_b는 별도의 요소로 분리되었다.
• 프레임워크는 원인 인자 성분의 일부만 간섭을 받는 일반적인 설정에서 식별 가능성을 입증하였으며, 스칼라 인자에 대한 이전 연구를 확장한다.