[논문 리뷰] Multi-View Causal Representation Learning with Partial Observability

Dingling Yao, Danru Xu외 6명|arXiv (Cornell University)|2023. 11. 07.

Domain Adaptation and Few-Shot Learning인용 수 6

한 줄 요약

이 논문은 부분 관찰 가능성 하에서 다중 시각의 인과적 표현 학습을 위한 통합 프레임워크를 제안한다. 각 시각은 잠재 변수의 부분 집합만 관찰한다. 각 시각에 대해 단일 인코더를 사용하는 대비 학습을 통해, 임의의 시각 조합에서 공유 정보를 부드러운 전단사 함수까지 식별할 수 있으며, 이는 비선형 ICA, 분리 가능성, 그리고 더 일반적인 인과적 표현 학습 기존 연구를 일반화하고 확장한다.

ABSTRACT

We present a unified framework for studying the identifiability of representations learned from simultaneously observed views, such as different data modalities. We allow a partially observed setting in which each view constitutes a nonlinear mixture of a subset of underlying latent variables, which can be causally related. We prove that the information shared across all subsets of any number of views can be learned up to a smooth bijection using contrastive learning and a single encoder per view. We also provide graphical criteria indicating which latent variables can be identified through a simple set of rules, which we refer to as identifiability algebra. Our general framework and theoretical results unify and extend several previous works on multi-view nonlinear ICA, disentanglement, and causal representation learning. We experimentally validate our claims on numerical, image, and multi-modal data sets. Further, we demonstrate that the performance of prior methods is recovered in different special cases of our setup. Overall, we find that access to multiple partial views enables us to identify a more fine-grained representation, under the generally milder assumption of partial observability.

연구 동기 및 목표

• 다양한 시각이 모든 잠재 변수를 관찰하는 것이 아니라 일부만 관찰할 때 인과적 표현을 식별하는 문제에 대응하기 위해.
• 비선형 ICA, 분리 가능성, 그리고 부분 관찰 가능성 하에서의 인과적 표현 학습 분야의 기존 결과들을 통합하고 확장하기 위해.
• 각 시각의 부분 집합 간 공유 정보가 단일 시각 인코더를 사용한 대비 학습을 통해 부드러운 전단사 함수까지 식별될 수 있음을 증명하기 위해.
• 잠재 변수가 부분 관찰 가능성 하에서 어떤 것이 복원 가능한지를 판단하기 위한 그래픽 기준—'식별 가능성 대수'를 통해—제시하기 위해.
• 수치적, 이미지 및 다중 모odal 데이터셋에서 프레임워크를 실증적으로 검증하여, 이전 방법의 특수 케이스로 복원 가능함을 보여주기 위해.

제안 방법

• 각 시각이 잠재 변수의 부분 집합에 대한 비선형 함수로 구성되며, 이들 잠재 변수 간에 인과 관계가 존재할 수 있는 다중 시각 인과 모델을 수식화한다.
• 각 시각의 혼합 함수에 대해 불변성을 유지하면서도 시각 간 공유 정보를 보존하도록 하는 대비 학습 목표를 도입한다.
• 각 시각에 대해 단일 인코더를 사용하여 표현을 추출하며, 임의의 시각 조합 간의 공유 정보는 부드러운 전단사 함수까지 식별 가능하다.
• 조건부 독립성과 d-분리 기반의 그래픽 규칙 세트인 '식별 가능성 대수'를 개발하여, 어떤 잠재 변수가 식별 가능한지를 판단한다.
• 두 단계 샘플링 프로세스를 사용한다: 먼저 잠재 변수를 분포에서 추출하고, 그 다음에 시각별 비선형 함수를 통해 혼합하여 관측치를 생성한다.
• 이 프레임워크를 사용하여 von Kügelgen et al. (2021) 및 Daunhawer et al. (2023)의 기존 결과를 특수 케이스로 복원한다.

실험 결과

연구 질문

• RQ1 어떤 조건에서 부분 관찰 가능한 다수의 시각 간 공유 정보가 부드러운 전단사 함수까지 식별될 수 있는가?
• RQ2 제안된 프레임워크는 비선형 ICA, 분리 가능성, 그리고 인과적 표현 학습 분야의 기존 결과를 어떻게 일반화하고 확장하는가?
• RQ3 부분 관찰 가능성 하의 다중 시각 설정에서 어떤 잠재 변수가 식별 가능한지를 결정하는 그래픽 기준은 무엇인가?
• RQ4 이 프레임워크는 모든 시각을 함께 관찰하거나 잠재 변수가 상호 독립일 경우와 같은 특수 케이스에서 이전 방법의 성능을 복원할 수 있는가?
• RQ5 부분 관찰 가능성은 전체 관찰 가능성 가정에 비해 표현 학습의 더 세분화된 수준을 가능하게 하는가?

주요 결과

• 이 프레임워크는 임의의 시각 조합 간 공유 정보가 단일 시각 인코더를 사용한 대비 학습을 통해 부드러운 전단사 함수까지 식별 가능하다는 것을 증명한다.
• 이 방법은 von Kügelgen et al. (2021) 및 Daunhawer et al. (2023)의 이전 연구 결과를 각각의 특수 케이스로 복원하여 그 일반성과 타당성을 입증한다.
• 잠재 인과 관계가 존재하는 다중 작업 분리 가능성 설정에서, 모델은 1,000개의 학습 스텝 이내에 99%의 분류 정확도를 달성하여 종속된 잠재 변수에 대한 강건성을 보였다.
• 식별 가능성 대수는 조건부 독립성과 그래픽적 구조에 기반하여 어떤 잠재 변수가 복원 가능한지를 체계적으로 판단할 수 있는 방법을 제공한다.
• 수치적, 이미지 및 다중 모달 데이터셋에 대한 실험 결과, 이전 연구에서의 전체 관찰 가능성 가정보다 다수의 부분 관찰 시각을 활용할 경우 더 세분화된 표현 학습이 가능하다는 것이 확인되었다.
• 잠재 변수에 대한 i.i.d. 및 독립성 가정을 완화함으로써, 비선형 ICA 및 분리 가능성 분야의 기존 결과를 일반화하였다.