[논문 리뷰] Benchmarking Counterfactual Image Generation

Θωμάς Μελίστας, N. M. Spyrou외 6명|arXiv (Cornell University)|2024. 03. 29.

Computer Graphics and Visualization Techniques인용 수 5

한 줄 요약

논문은 현실성(realism), 최소성(minimality), 구성(composition), 효과성(eff ectiveness) 메트릭을 사용하여 MorphoMNIST와 CelebA에서 VAE, HVAE, GAN 계열을 비교하는 counterfactual 이미지 생성 방법을 평가하는 포괄적 SCM 기반 벤치마크 프레임워크를 제시한다. 결과는 Deep-SCM-based hierarchical variational approaches (HVAE)이 일반적으로 다른 모델들보다 모든 메트릭에서 우수하다는 것을 보여준다.

ABSTRACT

Generative AI has revolutionised visual content editing, empowering users to effortlessly modify images and videos. However, not all edits are equal. To perform realistic edits in domains such as natural image or medical imaging, modifications must respect causal relationships inherent to the data generation process. Such image editing falls into the counterfactual image generation regime. Evaluating counterfactual image generation is substantially complex: not only it lacks observable ground truths, but also requires adherence to causal constraints. Although several counterfactual image generation methods and evaluation metrics exist, a comprehensive comparison within a unified setting is lacking. We present a comparison framework to thoroughly benchmark counterfactual image generation methods. We integrate all models that have been used for the task at hand and expand them to novel datasets and causal graphs, demonstrating the superiority of Hierarchical VAEs across most datasets and metrics. Our framework is implemented in a user-friendly Python package that can be extended to incorporate additional SCMs, causal methods, generative models, and datasets for the community to build on. Code: https://github.com/gulnazaki/counterfactual-benchmark.

연구 동기 및 목표

• 구조적 인과 모델(SCMs) 하에서 counterfactual 이미지 생성을 표준화된 평가가 필요함을 동기 부여한다.
• SCM 기반 counterfactuals를 위한 포괄적이고 확장 가능한 벤치마크 프레임워크와 Python 패키지를 제안한다.
• Abduction-Action-Prediction 패러다임 하에서 세 가지 모델 계열(Normalising Flows, VAEs/HVAE, GANs)을 체계적으로 비교한다.
• 구조적 공리적 구성, 효과성, 가역성에 더해 realism과 minimality를 필수 평가 기준으로 주장한다.

제안 방법

• 이미지 생성에서 counterfactual 추론을 위해 Pearlian SCMs를 Abduction-Action-Prediction과 함께 채택한다.
• Deep-SCM 프레임워크 내에서 조건부 정규화 흐름(cond itional normalising flows), 조건부 VAEs/HVAEs, 그리고 조건부 GANs를 비교한다.
• 고차원 이미지 변수와 저차원 속성을 함께 모델링하기 위해 엔드투엔드 가역적(invertible) 또는 아모르타이즈드(amortised) 메커니즘을 사용한다.
• 공리(구성, 효과성, 가역성)에서 영감을 얻은 평가 지표와 더불어 현실감(FID) 및 최소성(CLD 기반)을 counterfactuals에 활용한다.
• 사전에 정의된 인과 그래프를 가진 MorphoMNIST(32x32) 및 CelebA(64x64)에서 표준화된 평가 프로토콜을 적용한다.
• 추가적인 SCMs, 모델, 데이터셋으로의 확장을 용이하게 하는 Python 패키지를 제공한다.

실험 결과

연구 질문

• RQ1 SCMs 하에서 실제 정답이 없는 설정에서 counterfactual 이미지 생성을 어떻게 평가할 수 있는가?
• RQ2 다양한 데이터셋에서 어떤 모델 계열(NF 기반, VAE/HVAE, GAN)이 정확하고 현실적이며 최소한의 counterfactuals를 가장 잘 지원하는가?
• RQ3 현실감(realism)과 최소성(minimality) 메트릭이 이미지 편집을 평가할 때 기존 counterfactual의 공리와 일치하는가?
• RQ4 MorphoMNIST와 CelebA 전반에서 구성(composition), 효과성, 현실감(realism) 측면에서 Deep-SCM 기반 HVAE가 다른 접근법과 어떻게 비교되는가?

주요 결과

• HVAE (highly hierarchical VAE)는 메트릭과 데이터셋 전반에 걸쳐 일관되게 최상의 구성과 최소 왜곡을 달성한다.
• MorphoMNIST와 CelebA에서 구성(l1 이미지, l1 임베딩, LPIPS) 및 현실감(FID) 측면에서 HVAE가 VAE 및 GAN 계열을 능가한다.
• 조건화와 순환 학습은 counterfactual 충실도를 향상시키며, HVAE 및 미세 조정된 HVAE가 개입된 속성 예측에서 가장 강한 효과성을 제공한다.
• GAN은 다중 사이클 구성 및 현실성에서 HVAE에 비해 어려움을 보이며, 특히 CelebA에서 그들의 최소성 및 FID가 HVAE에 뒤처진다.
• 현실감 및 최소성 메트릭은 HVAE 기반 counterfactual에서 원래 세부 정보의 정성적 보존과 상관되며, VAE는 흐려지고 GAN은 반복 편집에서 콘텐츠를 왜곡하는 경향이 있다.