[논문 리뷰] Interventional Causal Representation Learning

Kartik Ahuja, Divyat Mahajan외 2명|arXiv (Cornell University)|2022. 09. 24.

Bayesian Modeling and Causal Inference인용 수 6

한 줄 요약

이 논문은 관측 데이터만으로는 충분하지 않은 경우, 간섭 데이터를 활용하여 강한 분포 가정 없이도 잠재 인과 요인을 증명 가능하게 특정하는 새로운 프레임워크를 제안한다. 간섭에 의해 유도된 잠재 지지의 기하학적 특징을 이용함으로써, 완벽한 do-간섭에서는 순열과 스케일링을 제외한 정확한 특정화를 달성하고, 불완전한 간섭에서는 블록 아핀 특정화를 달성한다. 이는 관측 데이터의 제약을 초월해 분리된 표현 학습을 크게 발전시킨다.

ABSTRACT

Causal representation learning seeks to extract high-level latent factors from low-level sensory data. Most existing methods rely on observational data and structural assumptions (e.g., conditional independence) to identify the latent factors. However, interventional data is prevalent across applications. Can interventional data facilitate causal representation learning? We explore this question in this paper. The key observation is that interventional data often carries geometric signatures of the latent factors' support (i.e. what values each latent can possibly take). For example, when the latent factors are causally connected, interventions can break the dependency between the intervened latents' support and their ancestors'. Leveraging this fact, we prove that the latent causal factors can be identified up to permutation and scaling given data from perfect $do$ interventions. Moreover, we can achieve block affine identification, namely the estimated latent factors are only entangled with a few other latents if we have access to data from imperfect interventions. These results highlight the unique power of interventional data in causal representation learning; they can enable provable identification of latent factors without any assumptions about their distributions or dependency structure.

연구 동기 및 목표

• 관측 데이터만으로는 분포 및 구조적 모호성이 존재해 인과 잠재 요인을 특정하기 어려운 상황에서 표현 학습의 도전 과제를 해결하기 위해.
• 로봇공학, 게놈학, 실험 과학에서 흔한 간섭 데이터가 인과 잠재 요인을 증명 가능하게 특정할 수 있는지 조사하기 위해.
• 완벽한 do-간섭을 사용할 경우 잠재 요인을 순열과 스케일링을 제외하고 특정하는 방법을 개발하기 위해.
• 관측 데이터에서 독립적인 지지 구조가 존재할 경우, 잠재 변수가 상관이 있을지라도 특정 가능성을 보여주는 고전적 독립성 성분 분석(ICA) 결과를 확장하기 위해.
• 합성 및 이미지 기반 데이터에서 이론을 실증적으로 검증하여, 간섭 데이터를 활용함으로써 분리 가능성 향상 효과를 입증하기 위해.

제안 방법

• 방법은 간섭에 의해 유도된 잠재 요인 지지의 기하학적 특징을 활용한다: 완벽한 do-간섭에서는 간섭된 잠재 변수의 지지가 그 조상과 독립이 된다.
• 완벽한 do-간섭의 경우, 논문은 다항식 또는 일반 맵핑을 사용해 간섭된 잠재 변수를 이동과 스케일링을 제외하고 특정할 수 있음을 증명한다.
• 불완전한 간섭의 경우, 간섭이 간섭된 잠재 변수의 지지를 그 조상과 독립시킬 경우, 블록 아핀 특정화를 달성한다. 이는 완벽한 간섭을 특수한 경우로 일반화한다.
• 이 방법은 이중 단계 자동에코더를 사용한다: 첫 번째 단계에서는 깊은 인코더가 관측 데이터로부터 고차원 표현을 학습한다. 두 번째 단계에서는 간섭 데이터를 사용해 간섭된 잠재 변수에서 지지로의 선형 맵핑(γi)을 추정한다.
• 이 프레임워크는 이미지 데이터에 대해 ResNet-18 기반 모델과 디컨볼루션 디코더를 사용하며, 간섭 데이터 기반으로 MLP 회귀기들을 학습시켜 γi 맵핑을 추정한다.
• 하이퍼파ram터는 Adam 최적화기와 가중치 감소, 조기 정지 기법을 사용해 튜닝되며, 재구성 오차, R², 평균 상관계수(MCC)를 사용해 특정화 품질을 평가한다.

실험 결과

연구 질문

• RQ1 관측 데이터 외의 강한 분포 가정 없이도 간섭 데이터가 인과 잠재 요인을 증명 가능하게 특정할 수 있는가?
• RQ2 어떤 기하학적 특징이 간섭 데이터에서 활용 가능하며, 이는 관측 데이터의 특징과 어떻게 다를 수 있는가?
• RQ3 간섭의 구조(완벽 vs. 불완전)가 잠재 요인의 특정 가능성에 어떤 영향을 미치는가?
• RQ4 관측 데이터에서 잠재 변수의 지지가 독립일 경우, 잠재 변수가 상관이 있을지라도 특정 가능성이 보장되는가?
• RQ5 잠재 차원당 간섭 수가 증가할수록 특정화 성능 향상 정도는 어느 정도인가?

주요 결과

• 완벽한 do-간섭 조건에서, 논문은 다항식 맵핑을 가정하지 않더라도 간섭된 잠재 변수를 이동과 스케일링을 제외하고 특정할 수 있음을 증명한다.
• 동일한 잠재 차원에 대해 여러 개의 do-간섭이 존재할 경우, 비다항식 맵핑에 대해서도 근사적인 특정화가 가능하다.
• 불완전한 간섭의 경우, 간섭이 간섭된 잠재 변수의 지지를 그 조상과 독립시킬 경우, 블록 아핀 특정화를 달성한다. 이는 완벽한 간섭을 특수한 경우로 포함한다.
• 관측 데이터에서 잠재 변수의 지지가 상호 독립일 경우, 방법은 순열, 이동, 스케일링을 제외한 특정화를 달성한다. 이는 고전적 ICA를 상관이 있는 잠재 변수로 일반화한다.
• 실증 결과에 따르면, 잠재 차원당 간섭 수가 증가할수록 특정화 성능을 평가하는 평균 상관계수(MCC)가 증가한다: 균일한 잠재 분포 조건에서 1개 간섭 시 33.18에서 5개 간섭 시 88.30으로 증가한다.
• 재구성 MSE는 간섭 수에 관계없이 안정적으로 유지된다(예: 균일 분포 조건에서 514.25 ± 61.8), R² 값은 높은 수준(0.78–0.91)을 유지하여 고차원 표현과 진짜 잠재 변수 사이의 강한 선형 관계를 나타낸다.