[논문 리뷰] Weakly supervised causal representation learning

Johann Brehmer, Pim de Haan외 2명|arXiv (Cornell University)|2022. 03. 30.

Domain Adaptation and Few-Shot Learning인용 수 13

한 줄 요약

이 논문은 비정상적인 데이터, 예를 들어 픽셀과 같은 구조가 없는 데이터에서 원인 변수와 원인 구조를 식별하기 위해 약한 지도 학습 기반 원인 표현 학습을 제안한다. 이는 알려지지 않은 무작위 간섭 이전과 이후의 쌍 관측치를 사용한다. 이는 암묵적 잠재 원인 모델(implicit latent causal models, ILCMs)을 도입하여 명시적인 그래프 구조 없이도 강력하고 기울기 기반 최적화를 가능하게 한다. 이는 합성 이미지 데이터셋, 특히 로봇 조작 환경을 포함하여 정확한 원인 구조와 분리된 표현을 입증한다.

ABSTRACT

Learning high-level causal representations together with a causal model from unstructured low-level data such as pixels is impossible from observational data alone. We prove under mild assumptions that this representation is however identifiable in a weakly supervised setting. This involves a dataset with paired samples before and after random, unknown interventions, but no further labels. We then introduce implicit latent causal models, variational autoencoders that represent causal variables and causal structure without having to optimize an explicit discrete graph structure. On simple image data, including a novel dataset of simulated robotic manipulation, we demonstrate that such models can reliably identify the causal structure and disentangle causal variables.

연구 동기 및 목표

• 구조가 없는 데이터, 예를 들어 픽셀과 같은 고수준 원인 표현을 완전한 지도 없이 학습하는 데 도전하는 것.
• 모든 관측치가 알려지지 않은 무작위 간섭 이전과 이후의 쌍 데이터를 사용할 때 원인 변수와 구조적 원인 모델의 식별 가능성을 입증하는 것.
• 명시적인 그래프 최적화의 한계를 피하는 실용적이고 확장 가능한 원인 표현 학습 방법을 개발하는 것.
• 이미지 데이터, 특히 새로운 로봇 조작 데이터셋을 포함하여 강력한 원인 구조와 분리된 변수 발견을 입증하는 것.
• 원인 표현 학습에서의 닭과 계란 문제를 변수 발견과 그래프 구조 학습을 분리함으로써 해결하는 것.

제안 방법

• 알려지지 않은 무작위 완전 간섭 이전과 이후의 상태를 나타내는 쌍 데이터 $(x, \tilde{x})$ 를 사용하는 약한 지도 학습 설정을 도입한다.
• 원인 구조가 명시적인 DAG가 아니라 해결 함수 $s_i(e_i; e_{\setminus i})$ 를 통해 암묵적으로 표현되는 변분 autoencoder 형태의 암묵적 잠재 원인 모델(implicit latent causal models, ILCMs)을 제안한다.
• 표현, 원인 구조, 간섭 추론을 동시에 최적화하는 미분 가능한 종단 간 엔드 투 엔드 학습 목표를 사용하며, 변분 하한을 기반으로 한다.
• 간섭 인코더 $q(I|x,\tilde{x})$ 를 사용하여 어떤 변수가 간섭을 받았는지 추론함으로써 레이블 없이도 자기 지도 학습을 가능하게 한다.
• 후기 학습 단계에서만 최상위 순서 제약을 적용하여 명시적 잠재 원인 모델(explicit LCMs, ELCMs)의 최적화를 안정화시킨다.
• 공동 최적화가 실패할 경우 고정된 DAG들에 대한 그래프 탐색 전략을 적용하고 검증 손실 기반으로 최고 성능을 보이는 그래프를 선택한다.

실험 결과

연구 질문

• RQ1 관측 데이터와 알려지지 않은 무작위 간섭 이전과 이후의 쌍 데이터로부터 원인 변수와 구조적 원인 모델을 유일하게 식별할 수 있는가?
• RQ2 명시적인 이산 그래프 표현 없이도, 어떻게 원인 구조를 미분 가능하고 확장 가능한 방식으로 표현하고 최적화할 수 있는가?
• RQ3 암묵적 잠재 원인 모델(ILCMs)이 이산 그래프 최적화를 사용하는 명시적 모델보다 더 강력하고 안정적인 원인 표현 학습을 달성할 수 있는가?
• RQ4 ILCMs는 픽셀 수준의 데이터에서 원인 요인을 얼마나 잘 분리하고 진정한 원인 그래프를 복구할 수 있는가?
• RQ5 명시적 잠재 원인 모델(ELCMs)의 실패 요인은 무엇이며, 이는 손실 곡면의 局부 최소값과 어떻게 관련이 있는가?

주요 결과

• 약한 가정 하에 이론적으로 식별 가능성이 입증되었다: 원인 변수와 메커니즘은 레이블 재지정과 원소별 재매개변수화를 제외하고는 쌍 관측치에서 유일하게 식별 가능하다.
• 명시적 잠재 원인 모델(ELCMs)은 무작위 초기화에 매우 민감하며, 시드에 따라 결과가 크게 달라지며, 일부 데이터셋에서는 세 번의 실행 중 하나만 성공했다.
• ELCMs는 국부 최소값으로 인해 자주 실패하며, 일반적으로 올바른 스케letal 구조는 갖추지만 원인 방향이 잘못된 그래프를 학습한다. 이는 진짜 그래프와 같은 마르코프 동치 클래스에 머무른다.
• 암묵적 잠재 원인 모델(ILCMs)은 랜덤 시드에 관계없이 안정적이고 강력한 성능을 보이며, 합성 데이터셋에서 원인 변수와 구조를 모두 성공적으로 식별한다.
• 로봇 조작 데이터셋인 CausalCircuit에서 ILCMs는 진짜 원인 그래프를 정확히 복구하고, 여러 실행에서 높은 분리도 점수(DCI > 0.98)를 달성한다.
• ILCMs는 분리도와 구조 정확도 양면에서 ELCMs를 능가하며, 암묵적이고 미분 가능한 원인 구조 표현의 우수성을 입증한다.