[논문 리뷰] Group invariance principles for causal generative models

Michel Besserve, Naji Shajarisales외 2명|arXiv (Cornell University)|2017. 05. 05.

Biomedical Text Mining and Ontologies인용 수 21

한 줄 요약

이 논문은 원인과 기제의 독립성(Independent of Cause and Mechanism, ICM) 원리를 기반으로 한 인과 추론 방법들을 통합하고 일반화하기 위한 군 이론적 프레임워크를 제안한다. 원인에 대한 일반적인 군 변환을 적용하고 대조 함수를 통해 불변성(인variability)을 평가함으로써, 이 접근법은 강건한 인과 생성 모델링을 가능하게 하며, 비지도 학습과 GANs에 적용되었을 때 훈련 안정성과 데이터 분포에 대한 강건성이 자연스럽게 유도된다.

ABSTRACT

The postulate of independence of cause and mechanism (ICM) has recently led to several new causal discovery algorithms. The interpretation of independence and the way it is utilized, however, varies across these methods. Our aim in this paper is to propose a group theoretic framework for ICM to unify and generalize these approaches. In our setting, the cause-mechanism relationship is assessed by comparing it against a null hypothesis through the application of random generic group transformations. We show that the group theoretic view provides a very general tool to study the structure of data generating mechanisms with direct applications to machine learning.

연구 동기 및 목표

• 원인과 기제의 독립성(ICM) 원리를 기반으로 한 다양한 인과 추론 알고리즘들을 하나의 이론적 프레임워크로 통합하기.
• ICM을 원인-결과 쌍을 넘어서 잠재 변수 모델과 복잡한 생성 구조로 일반화하기.
• 군 작용과 대조 함수를 사용하여 데이터 생성 메커니즘의 '일반성(genericity)'을 정의하는 원칙적인 방법 제공하기.
• 이 프레임워크가 비지도 학습과 생성 모델링, 특히 GANs에서의 성능 향상에 어떻게 기여하는지 보여주기.
• ICM과 적대적 훈련 간의 연결을 설정하여, GANs가 일반적인 변환에 대해 불변성을 암묵적으로 강제한다는 것을 보여주기.

제안 방법

• 프레임워크는 원인 변수에 작용하는 일반적인 군의 변환을 사용하여, 기제가 원인의 변형에 어떻게 반응하는지 모델링한다.
• 대조 함수를 정의하여 기제가 임의의 군 작용 하에서도 일반적(즉, 일반적인) 상태를 유지하는지 평가함으로써, ICM 원리를 수식화한다.
• 군 작용에 대한 기대 대조값을 평가함: ⟨D⟩_{G,z₀} = E_{g∼μ_G}[log(D(G(gz₀)))], 이는 GAN 훈련 목표와 연결된다.
• 이전의 ICM 방법들을 일반화하기 위해, 특수한 독립성 측정법을 군 불변 통계적 검정으로 대체한다.
• 불변성 위반을 일으키는 비일반적인 구성이 발견될 수 있도록, 인과 구조 탐색과 강건한 생성 모델링을 가능하게 한다.
• 프레임워크를 적용하여 GAN 분석과 개선을 수행함으로써, 변환된 원인(예: 노이즈 벡터)이 판별기의 대조 기준 하에서도 여전히 타당한 출력을 생성하도록 보장한다.

실험 결과

연구 질문

• RQ1 다양한 인과 추론 방법들을 통합하기 위해 ICM 원리를 어떻게 수식화할 수 있는가?
• RQ2 군 작용은 원인-기제 관계의 일반성 정의에 어떤 역할을 하는가?
• RQ3 군 이론적 시각은 ICM 기반 추론을 원인-결과 쌍을 넘어서 잠재 변수 모델과 계층적 모델로 확장할 수 있는가?
• RQ4 일반적인 군 변환에 대한 기제의 불변성은 생성 모델링의 강건성과 어떻게 관련되는가?
• RQ5 GAN의 적대적 훈련이 군 불변 대조 함수를 통해 ICM 가정을 어느 정도 암묵적으로 만족하는가?

주요 결과

• 군 이론적 프레임워크는 ICM 기반 인과 추론을 위한 일반적이고 통합된 기반을 제공하며, Janzing 등(2010)과 Shajarisales 등(2015)의 이전 방법들을 포함한다.
• 프레임워크는 시각 인식 작업에서 인과 구조 탐색을 가능하게 하며, 부분적 물체 가림이 있는 장면에서 가림 순서를 식별하는 데 응용된다.
• GAN의 훈련 목표는 노이즈 입력에 대한 일반적인 군 변환에 대한 불변성을 강제하는 것으로 해석될 수 있으며, ICM 원리와 일치한다.
• GAN의 경험적 성공은 출력이 일반적인 입력 변형 하에서도 여전히 일반적인 상태를 유지한다는 점에서, 그 이유가 설명된다.
• 프레임워크는 입력 뿐 아니라 중간 레이어에서도 불변성을 강제할 경우 GAN의 강건성과 분리성 향상이 가능하다는 것을 시사한다.
• GAN의 대조 함수는 판별기로 구현되며, 군 변환 하에서의 일반성 측도로 작용하여, 딥 생성 모델에서 ICM 가정을 수식화한다.