[논문 리뷰] Counterfactual Generative Networks

Axel Sauer, Andreas Geiger|arXiv (Cornell University)|2021. 01. 15.

Generative Adversarial Networks and Image Synthesis참고 문헌 51인용 수 29

한 줄 요약

이 논문은 Counterfactual Generative Networks (CGNs)를 제시하여 이미지 생성을 형태(shape), 질감(texture), 배경(background)의 독립적인 메커니즘으로 해리(disentangle)하고, counterfactual 이미지 생성을 가능하게 하며, out-of-domain 강건성을 향상시키는 불변 분류기를 제시합니다. MNIST 변형 및 ImageNet에서 시연됩니다.

ABSTRACT

Neural networks are prone to learning shortcuts -- they often model simple correlations, ignoring more complex ones that potentially generalize better. Prior works on image classification show that instead of learning a connection to object shape, deep classifiers tend to exploit spurious correlations with low-level texture or the background for solving the classification task. In this work, we take a step towards more robust and interpretable classifiers that explicitly expose the task's causal structure. Building on current advances in deep generative modeling, we propose to decompose the image generation process into independent causal mechanisms that we train without direct supervision. By exploiting appropriate inductive biases, these mechanisms disentangle object shape, object texture, and background; hence, they allow for generating counterfactual images. We demonstrate the ability of our model to generate such images on MNIST and ImageNet. Further, we show that the counterfactual images can improve out-of-distribution robustness with a marginal drop in performance on the original classification task, despite being synthetic. Lastly, our generative model can be trained efficiently on a single GPU, exploiting common pre-trained models as inductive biases.

연구 동기 및 목표

• robust하고 인과적으로 정보에 입각한 이미지 분류를 동작하지 않는 spurious correlations에 의존하지 않도록 동기를 부여한다.
• 이미지 생성을 형태(shape), 질감(texture), 배경(background)으로 제어하는 독립적인 메커니즘으로 분해한다.
• unseen한 요소 조합으로 counterfactual 이미지를 생성하여 불변 분류기를 학습한다.
• MNIST 변형 및 ImageNet에서 접근 방식을 시연하여 OOD 강건성을 개선하고 태스크 성능 저하를 최소화한다.
• 생성 모델에서 객체 마스크 및 감정 없는(in unsupervised) 인페인팅과 같은 emergent 특성이 나타난다.

제안 방법

• 이미지 합성을 형태, 질감, 배경(IMs)을 위한 독립적인 메커니즘을 갖는 구조적 인과 모델로 모델링한다.
• 마스크, 질감, 배경으로부터 이미지를 형성하기 위해 고정된 합성 단계(alpha blending)을 사용한다.
• L_shape(마스크 충실도), L_text(질감), L_bg(주목도 기반 배경 인페인팅), L_rec(조건부 GAN으로부터의 가짜 Ground-truth에 대한 재구성) 등의 손실을 포함하는 손실로 IMs를 학습한다.
• ImageNet과 같은 대규모 데이터 세트에 대해 BigGAN과 같은 미리 학습된 backbones로 이미지 제너레이터를 초기화하고, 전용誘導 편향으로 미세 조정한다.
• 메커니즘 간 라벨을 무작위로 바꾸되 노이즈는 고정하여 counterfactual을 생성하고, 이를 통해 불변 분류기를 학습한다.
• 불변 분류기 r을 counterfactual 데이터에서 하나의 특정 메커니즘과 관련된 라벨을 예측하도록 학습시켜 다른 메커니즘에 대해 불변하게 만든다.

실험 결과

연구 질문

• RQ1 형태, 질감, 배경을 제어하는 독립적인 메커니즘을 학습하여 고품질의 counterfactual 이미지를 생성할 수 있는가?
• RQ2 counterfactual 이미지가 spurious 상관관계에 대해 불변한 분류기 학습과 결국 아웃도메인 데이터에 대한 강건성을 높이는 데 도움이 되는가?
• RQ3 요소를 해리하기 위해 필요한诱導 편향(사전 학습, 메커니즘별 손실)은 무엇이며 붕괴를 피하는가?
• RQ4 CGN이 MNIST 변형에서 ImageNet까지 의미 있는 counterfactual과 강건한 분류기를 생성하는 데 얼마나 확장 가능한가?

주요 결과

• CGNs은 MNIST 변형 및 ImageNet에서 형태, 질감, 배경을 제어하는 고품질 counterfactual 이미지를 생성할 수 있다.
• 객체의 형태(shape), 질감(texture), 배경을 해리하면 spurious 상관관계에 더 강인한 불변 분류기 학습이 가능하다.
• counterfactual 학습은 MNIST 변형에서 INET 규모까지 in-domain 분류 성능의 약간의 하락만으로도 OOD 강건성을 향상시킨다.
• 대규모 제너레이터에 대한 사전 학습 및 메커니즘별 손실과 같은誘導 편향은 붕괴를 방지하고 해리화를 달성하는 데 필수적이다.
• 모델은 견고한 객체 마스크 및 지도 없는(in unsupervised) 인페인팅과 같은 유용한 emergent 특성을 생성한다.