[논문 리뷰] Causal Adversarial Network for Learning Conditional and Interventional Distributions

Raha Moraffah, Bahman Moraffah외 3명|arXiv (Cornell University)|2020. 08. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 41인용 수 6

한 줄 요약

이 논문은 사전에 정의된 인과 그래프가 필요 없이 데이터로부터 인과 관계를 학습하여 고해상도 조건부 및 개입 이미지를 생성할 수 있는 확장 가능한 인과 적대망(Causal Adversarial Network, CAN)을 제안한다. CAN은 두 단계 아키텍처를 사용한다: 레이블 간의 인과적 의존성을 추론하는 레이블 생성망(Label Generation Network, LGN)과 레이블과 픽셀 수준의 특징을 조건으로 삼아 이미지를 생성하는 조건부 이미지 생성망(Conditional Image Generation Network, CIGN)이다. 이는 '만약에' 시나리오를 위한 개입 기반 샘플링을 가능하게 하며, 실험 결과에서 CausalGAN과 AC-GAN을 능가하는 성능을 보였다.

ABSTRACT

We propose a generative Causal Adversarial Network (CAN) for learning and sampling from conditional and interventional distributions. In contrast to the existing CausalGAN which requires the causal graph to be given, our proposed framework learns the causal relations from the data and generates samples accordingly. The proposed CAN comprises a two-fold process namely Label Generation Network (LGN) and Conditional Image Generation Network (CIGN). The LGN is a GAN-based architecture which learns and samples from the causal model over labels. The sampled labels are then fed to CIGN, a conditional GAN architecture, which learns the relationships amongst labels and pixels and pixels themselves and generates samples based on them. This framework is equipped with an intervention mechanism which enables. the model to generate samples from interventional distributions. We quantitatively and qualitatively assess the performance of CAN and empirically show that our model is able to generate both interventional and conditional samples without having access to the causal graph for the application of face generation on CelebA data.

연구 동기 및 목표

• 기존의 조건부 GAN이 레이블을 상호 독립적으로 간주하여 비현실적인 샘플 조합(예: 수염이 있는 여성)을 생성하는 한계를 해결하기 위해.
• do-계산법 개입을 모델링함으로써 '만약에' 질문에 답할 수 있는 개입 분포에서의 생성을 가능하게 하기 위해(순수한 조건부 생성이 아닌).
• 사전 지식이 없는 인과적 구조를 데이터로부터 학습하는 확장 가능한 종단 간 프레임워크를 개발하기 위해.
• 학습된 인과 모델을 통해 레이블 간 의존성을 모델링하여 조건부 이미지 생성 과제에서 샘플의 다양성과 현실성을 향상시키기 위해.

제안 방법

• CAN 프레임워크는 두 구성 요소로 이루어져 있다: 이산 레이블에 대한 인과 모델을 학습하고 샘플링하는 GAN 기반 아키텍처인 레이블 생성망(LGN).
• LGN은 데이터로부터 레이블 간의 인과적 구조를 추론하여, 기저 인과 관계에 부합하는 레이블 조합을 생성할 수 있도록 한다.
• 조건부 이미지 생성망(CIGN)은 생성된 레이블과 픽셀 수준의 특징을 입력으로 받아 양자 모두에 조건부로 현실적인 이미지를 생성하는 조건부 GAN의 변종이다.
• LGN에 개입 메커니즘이 통합되어 있어, 레이블에 대한 do-개입을 허용하며, 이는 인과 그래프에서 자식 노드에만 영향을 주는 개입 분포에서의 생성을 가능하게 한다.
• 이 프레임워크는 이미지 생성을 위한 적대적 손실과 레이블 생성에서의 구조적 관계 유지에 기여하는 인과 일致성 손실을 사용하여 종단 간으로 훈련된다.
• 인과 그래프는 LGN을 통해 데이터로부터 발견되며, 그 결과는 그림 5에 시각화되어 있으며, Male → Mustache 및 Young → Bald와 같은 학습된 관계를 포함한다.

실험 결과

연구 질문

• RQ1 사전에 정의된 인과 그래프가 없이도, 다수의 이산 레이블 간의 인과적 구조를 깊이 있는 생성 모델이 데이터로부터 학습할 수 있는가?
• RQ2 기존의 cGAN과 비교할 때, GAN 기반 프레임워크가 다중 상호의존 레이블에 조건부로 현실적인 이미지를 얼마나 잘 생성할 수 있는가?
• RQ3 모델은 '만약에 그 사람이 수염이 있었다면?' 같은 합리적인 개입 샘플(예: 수염이 있는 사람)을 도-계산법 의미론에 맞게 생성할 수 있는가?
• RQ4 레이블 간 의존성을 학습하는 것이 조건부 이미지 생성 과제에서 생성 이미지의 현실성과 다양성 향상에 기여하는가?
• RQ5 제안된 CAN은 이미지 품질과 레이블 일관성 측면에서 CausalGAN과 AC-GAN과 비교해 정량적·정성적으로 어떻게 성능을 발휘하는가?

주요 결과

• CAN은 모든 9개의 CelebA 레이블에 대해 CausalGAN과 AC-GAN을 GAN-train 및 GAN-test 지표에서 모두 능가하며, 'Male' 레이블의 경우 평균 GAN-train 점수 86.56, GAN-test 점수 88.12를 기록했다.
• 'Mustache' 레이블의 경우, CAN은 GAN-train 점수 90.15와 GAN-test 점수 90.74를 기록했으며, CausalGAN(82.66 및 59.32)과 AC-GAN(88.58 및 57.98)을 크게 앞서는 성능을 보였다.
• LGN은 CelebA에서 타당한 인과 그래프를 학습했으며, 그림 5에 나타난 바와 같이 기대되는 관계인 Male → Mustache, Male → Bald, Young → Bald 등을 포함한다.
• Alarm 데이터셋에서의 레이블 생성 평가 결과, LGN은 평균 MSE_p 4.1×10⁻⁴를 기록하여 MC-WGAN-GP(4.8×10⁻⁴)를 능가하며 더 나은 레이블 일관성을 보였다.
• 그림 3과 4의 정성적 결과는 'Mustache'에 대한 개입이 도-계산법에 따라 남성과 여성 모두에게 수염이 있는 이미지를 생성하는 반면, 순수한 조건부 생성은 남성 전용임을 확인하며, 모델의 인과적 추론 능력을 검증한다.
• 모델은 조건부 및 개입 조건에서 모두 현실적인 샘플을 성공적으로 생성하였으며, 부적절한 레이블 조합이 발생하지 않아, 레이블 간 의존성의 효과적인 모델링을 입증한다.