[논문 리뷰] Generative Interventions for Causal Learning

Chengzhi Mao, Augustine Cha외 4명|arXiv (Cornell University)|2020. 12. 22.

Generative Adversarial Networks and Image Synthesis참고 문헌 46인용 수 4

한 줄 요약

이 논문은 사전 훈련된 생성 모델(예: BigGAN)을 이용해 배경, 시점, 맥락과 같은 허위 상관관계를 제거하는 인과적 간섭을 수행할 수 있는 생성 간섭 프레임워크를 제안한다. 노이즈 변수 조작을 통제하여 생성한 이미지로 훈련된 분류기들은 분포 외 데이터로의 일반화 성능이 향상되어 ObjectNet에서 최상위 1위 정확도 39.3%를 달성하고, ImageNet-C에서 이전 방법들보다 최대 12% 높은 성능을 기록한다.

ABSTRACT

We introduce a framework for learning robust visual representations that generalize to new viewpoints, backgrounds, and scene contexts. Discriminative models often learn naturally occurring spurious correlations, which cause them to fail on images outside of the training distribution. In this paper, we show that we can steer generative models to manufacture interventions on features caused by confounding factors. Experiments, visualizations, and theoretical results show this method learns robust representations more consistent with the underlying causal relationships. Our approach improves performance on multiple datasets demanding out-of-distribution generalization, and we demonstrate state-of-the-art performance generalizing from ImageNet to ObjectNet dataset.

연구 동기 및 목표

• 배경과 시점과 같은 혼란 변수로 인한 허위 상관관계로 인해 분류 모델이 분포 외 일반화에서 실패하는 문제를 해결하기 위해.
• 랜덤화된 간섭이 불가능한 자연 이미지에서 인과적 표현 학습을 가능하게 하는 방법을 개발하기 위해.
• 허위 상관관계를 제거하기 위해 생성 모델에 간섭을 시뮬레이션함으로써 모델의 강건성을 향상시키기 위해.
• 명시적인 잠재 코드 없이도 생성된 이미지에서 유도된 간섭 효과를 실제 자연 이미지로 전이하기 위해.

제안 방법

• BigGAN과 같은 사전 훈련된 생성 모델을 활용해 배경과 시점과 같은 노이즈 변수에 대한 통제된 간섭을 수행한다.
• 생성 모델의 분리된 잠재 공간을 이용해 특정 간섭 방향으로 이미지 생성을 유도함으로써, 가짜 조작(Counterfactual manipulation)을 시뮬레이션한다.
• 신경적 스타일 전이(Neural style transfer)를 사용해 간섭된 생성 이미지에서 유도된 효과(예: 배경 흰색 처리)를 실제 자연 이미지로 전이한다.
• 내용을 유지하면서 간섭된 생성 이미지의 스타일을 전이하기 위해 VGG 기반의 특징 매칭 손실을 활용한다.
• 간섭를 인과적 연산으로 간주하며, 이는 허위 상관관계를 감소시켜 인과 효과의 경계를 더욱 좁힐 수 있음을 이론적으로 입증한다.
• 간섭된 데이터로 최종 분류기를 훈련함으로써, 혼란 변수에 대한 주의를 기울이기보다는 인과적 특징에 주의를 기울이도록 유도한다.

실험 결과

연구 질문

• RQ1 랜덤 실험이 불가능한 자연 이미지에서 생성 모델을 사용해 시각적 특징에 대한 인과적 간섭을 시뮬레이션할 수 있는가?
• RQ2 기본 인과적 구조의 진짜 정보가 없이도 허위 상관관계를 제거하는 간섭을 어떻게 생성할 수 있는가?
• RQ3 기본 데이터 증강 기법과 비교했을 때, 생성 간섭이 분포 외 일반화에 얼마나 향상시키는가?
• RQ4 명시적인 잠재 코드 없이도 생성된 이미지에서 간섭 효과를 실제 자연 이미지로 전이할 수 있는가?
• RQ5 결과 모델이 허위 맥락이 아닌 인과적 특징에 주의를 기울이는가, 주의 시각화를 통해 검증되었는가?

주요 결과

• ResNet152를 사용해 ObjectNet 데이터셋에서 39.3%의 최상위 1위 정확도를 달성하였으며, 공개된 벤치마크 대비 9% 향상되었다.
• ImageNet-C 벤치마크에서 이전 기준보다 최대 12% 높은 성능을 기록하여 분포 이탈에 대한 강건성이 뛰어나다는 것을 보여주었다.
• 시각화 결과, 기준 모델이 환경 맥락에 의존하는 것과 달리, 이 모델은 허위 배경 맥락이 아닌 관심 있는 객체에 주의를 기울인다.
• 이론적 분석에 따르면, 생성 간섭 방법은 P(x|z)를 증가시켜 더 좁은 인과 효과 경계를 생성함으로써 인과 효과의 경계를 더욱 강화한다.
• 명시적인 잠재 코드 없이도 신경적 스타일 전이를 통해 간섭 효과를 자연 이미지로 성공적으로 전이하여 허위 상관관계를 제거하였다.
• 이 방법은 카테고리 간 일반화가 가능하며, 배경 흰색 처리나 시점 변경 등의 간섭 효과가 다양한 객체 클래스 간에 전이 가능하다.